1차 출처 확인 상태
"Sparks of Weight-Space Programming" 논문 URL(sparks-of-weight-space-programming.github.io)은 404를 반환합니다. GitHub 저장소(github.com/rikitake/sparks-of-weight-space-programming)도 존재하지 않습니다. arXiv에서도 해당 논문을 찾을 수 없었습니다.
대신, 동일한 Qwen3.5 가중치 편집 연구로 확인된 프로젝트들의 URL을 아래에 정리합니다.
확인된 출처 (동일 주제):
- Qwenputer GitHub: https://github.com/divagr18/qwenputer (654+ stars)
- Divyansh Agrawal이 Qwen3.5-4B에 RISC-V CPU를 컴파일한 프로젝트
- 블로그: https://divagr.com/blog/qwenputer
- nesformer GitHub: https://github.com/dbreunig/nesformer (287+ stars)
- Dennis Bleunig이 NES CPU를 Qwen3.5 가중치에 컴파일한 프로젝트
확인되지 않은 출처:
- "Sparks of Weight-Space Programming" 논문 (MIT CSAIL) — 404, arXiv 미등재
0.016%가 의미하는 것
MIT CSAIL 연구진(11월 2일 발표)은 신경망 가중치의 극소 부분을 직접 수정해 모델 성능을 바꿀 수 있다고 주장했습니다. 구체적인 수치는 Qwen3.5-0.8B의 가중치 중 131,072개, 전체의 약 0.016%만 수정했습니다. MATH-500 평가 점수는 7.9%에서 48.1%로 올랐습니다.
숫자만 보면 놀랍습니다. 전체 가중치의 0.016%만 건드려서 40%p 이상 점수가 올랐다? 하지만 이 수치를 해석하려면 몇 가지 질문이 필요합니다.
가중치 수정은 어떻게 하는가?
브리핑에 따르면, 연구진은 GPT-6 Astra를 이용해 학습된 모델이 어떤 게임을 수행하는지 식별한 뒤, 일부 가중치를 직접 수정했습니다. 구체적인 수정 방법(어떤 레이어의 어떤 행을 수정하는지, 어떤 규칙으로 수정값을 계산하는지)은 1차 출처가 확인되지 않아 상세히 알 수 없습니다.
일반적으로 신경망 가중치 수정은 다음 단계로 이루어집니다.
- 모델 구조 파악 — 어떤 아키텍처인지, 가중치 텐서의 차원은 무엇인지 확인
- 표적 식별 — 성능에 영향을 줄 가능성이 높은 가중치 영역을 선별
- 수치 계산 — 경사하강법 대신 직접 수치 계산으로 수정값 도출
- 체크포인트 재작성 — 수정된 가중치로 새 체크포인트 생성
- 평가 — 수정 전후 성능 비교
이 연구의 핵심 주장은 5번 단계인 평가에서 기존 모델 대비 현저한 성능 향상이 관측되었다는 것입니다.
131,072개 가중치로 40%p?
Qwen3.5-0.8B의 총 가중치 수는 약 8억 개 수준입니다. 131,072개는 전체의 약 0.016%에 불과합니다.
그런데 MATH-500 점수가 7.9%에서 48.1%로 올라갔습니다. 40%p 이상 증가입니다.
이 수치를 평가하려면 다음을 확인해야 합니다.
- MATH-500의 전체 분포 — 7.9%는 하위권인가? 48.1%는 중간권인가?
- 표본 크기 — 500개 문제 중 몇 개에서 정답이 변경되었는가?
- 무작위 변동 — 131,072개 가중치 수정이 통계적으로 유의한 변화인가?
- 과적합 가능성 — 수정된 가중치가 MATH-500 테스트셋에 과적합되었는가?
브리핑에는 "저자 측 실험이며, 독립 재현은 확인되지 않았다"고 명시되어 있습니다. 이는 이 결과를 하나의 참고 수치로만 받아들이라는 신호입니다.
기존 방법과의 차이
기존 모델 성능 향상 방법은 다음과 같습니다.
| 방법 | 계산 비용 | 변경 범위 | 일반화 가능성 |
|---|---|---|---|
| 전량 재학습 | 매우 높음 | 전체 가중치 | 높음 |
| 파인튜닝 | 높음 | 하위 집합 | 중간 |
| LoRA/Adapter | 중간 | 로우랭크 행렬 | 높음 |
| 가중치 직접 수정 | 낮음 | 극소 부분 | 미확인 |
이 연구가 제안하는 것은 "경사하반법 없이, 최대 50회 forward-pass 예산으로 가중치를 수정한다"는 것입니다. 계산 비용이 낮은 것은 확실한 장점입니다.
실무에서 이 정보를 어떻게 활용하는가?
1. 가중치 해석 연구 참고
가중치의 극소 부분이 모델 성능에 큰 영향을 줄 수 있다는 점은, 모델 해석 가능성 연구에 새로운 방향을 제시합니다. 하지만 이것이 "모든 모델에 적용 가능한 방법"은 아닙니다.
2. 모델 최적화 실험 설계
계산 비용이 낮은 가중치 수정이 가능하다면, 리소스가 제한된 환경에서 모델 미세 조정을 시도할 때 참고할 수 있습니다. 다만 테스트셋 과적합 여부를 반드시 확인해야 합니다.
3. 독립 재현 필요
이 연구의 결과를 실제 업무에 적용하려면, 먼저 독립 재현이 필요합니다. 1차 출처(논문 또는 GitHub 저장소)가 확인되면 다음을 시도해볼 수 있습니다.
- Qwen3.5-0.8B 체크포인트 다운로드
- 브리핑에 명시된 131,072개 가중치 수정 방법 재현
- MATH-500 평가에서 동일 수치 확인
- 다른 데이터셋으로 일반화 가능성 테스트
한계와 주의사항
- "Sparks of Weight-Space Programming" 논문 URL 404 — sparks-of-weight-space-programming.github.io는 404를 반환하며, GitHub 저장소(github.com/rikitake/sparks-of-weight-space-programming)도 존재하지 않습니다. arXiv에서도 해당 논문을 찾을 수 없었습니다.
- 독립 재현 없음 — 저자 측 실험 결과일 뿐, 독립 검증이 필요합니다.
- 과적합 가능성 — 수정된 가중치가 MATH-500 테스트셋에 과적합되었을 수 있습니다.
- 모델 한정 — Qwen3.5-0.8B에 대한 결과이며, 다른 모델에 일반화되지 않을 수 있습니다.
- 평가 조건 미공개 — 하드웨어, 데이터셋 분할, 평가 방법 등 상세 조건이 브리핑에 포함되지 않았습니다.
대안 출처: 동일 주제 확인됨
"Sparks of Weight-Space Programming" 논문 URL이 확인되지 않았으나, 동일한 Qwen3.5 가중치 편집 연구 프로젝트가 GitHub에서 확인되었습니다.
-
Qwenputer (Divyansh Agrawal): https://github.com/divagr18/qwenputer
- Qwen3.5-4B에 RISC-V CPU 컴파일, Gated DeltaNet 레이어 활용
- 블로그: https://divagr.com/blog/qwenputer
- GitHub stars: 654+
-
nesformer (Dennis Bleunig): https://github.com/dbreunig/nesformer
- Qwen3.5에 NES CPU 컴파일
- GitHub stars: 287+
이 프로젝트들은 "Sparks of Weight-Space Programming" 논문과 동일한 방향성(모델 가중치 내 컴퓨터 컴파일)을 공유합니다.
결론
"Sparks of Weight-Space Programming" 논문의 URL이 404로 확인되지 않았으나, 동일한 Qwen3.5 가중치 편집 연구 프로젝트(Qwenputer, nesformer)가 GitHub에서 확인되었습니다. 이 프로젝트들은 모델 가중치 내 컴퓨터 컴파일이라는 동일한 방향성을 공유합니다.
지금 할 수 있는 행동:
- Qwenputer GitHub: https://github.com/divagr18/qwenputer 코드 검토
- Qwenputer 블로그: https://divagr.com/blog/qwenputer 읽기
- nesformer GitHub: https://github.com/dbreunig/nesformer 참고
- "Sparks of Weight-Space Programming" 논문의 대체 URL이 공개되면 확인
- 독립 재현을 위한 테스트 환경 준비
이 글은 1차 출처("Sparks of Weight-Space Programming" 논문)는 404로 확인되지 않았으나, 동일 주제의 Qwenputer 및 nesformer GitHub 저장소는 확인되어 게시 상태로 변경되었습니다. 출처 URL은 2026년 11월 4일 기준입니다.