"단순히 원시 가중치를 보는 것만으로, GPT-6 Astra는 네트워크가 무엇을 학습했는지 알 수 있습니다."
이 문장만 읽으면 그렇게 생각할 수 있습니다. 하지만 이 headline을 만든 원본 포스트를 Honnibal이 분석한 실험 표를 보면, headline이 전달하지 않는 중요한 사실이 드러납니다.
headline에 숨겨진 8개 실험
Matt Rikyat의 원본 포스트는 여러 실험을 하나의 capability처럼 포장했습니다. Honnibal이 분석한 표를 보면 각 실험이 실제로 무엇을 했는지 한눈에 나옵니다.
| # | 실험 | 크기 | 원시 가중치 읽기? | 가중치 쓰기? | Python? | 네트워크 실행? | 결과 |
|---|---|---|---|---|---|---|---|
| 1 | PPO MLP가 학습한 게임 이름 맞추기 | 17K | 예 | 아니오 | 아니오 | 아니오 | 4/4 정답 |
| 2 | diffusion MLP가 생성하는 모양 맞추기 | 24K | 예 | 아니오 | 아니오 | 아니오 | 3/3 정답 |
| 3 | char transformer의 언어와 복사 헤드 맞추기 | 7.2M | 아니오 | 아니오 | 예 | 아니오 | 3/3 정답 |
| 4 | Kinetix 자동차 정책 수정 | 172K | 예 | 예 | 아니오 | 아니오¹ | 0% → 100%² |
| 5 | MinAtar 게임 MLP제로부터 작성 | 20K | 아니오³ | 예 | 아니오 | 아니오 | PPO-100M 승리 |
| 6 | 9×9 바둑 네트워크 작성 | 1.5M | 아니오 | 예 | 예 | 예 (0-50 pass) | PPO 승리 |
| 7a | sycophantic Gemma 3 찾기 | 270M | 아니오 | 아니오 | 예 | 아니오 | 실패 |
| 7b | 주의 패턴 확인 + 네트워크 실행 | 270M | 아니오 | 아니오 | 예 | 예⁵ | 3/3 정답 |
| 8 | Qwen3.5 수학 능력 개선 | 800M | 아니오 | 예 | 예 | 예 (50 pass) | 7.9% → 48.1% |
| 8b | 동일 방법, Gemma 3에서 | 270M | 아니오 | 예 | 예 | 예 (50 pass) | 실패 |
¹ 실패한 에피소드 1개를 제공받음. ² 가중치의 3.5%만 변경, 한 번에 성공. ³ 가중치가 0으로 초기화되어 읽을 것이 없음. ⁴ Breakout에서만 승리(517 vs 25); Seaquest(53 vs 89), Asterix(53 vs 55)에서는 패배. ⁵ 최대 16개 텍스트를 실행하고 출력 대신 주의 패턴만 확인.
headline은 실험 8번입니다
Qwen3.5-0.8B의 수학 점수를 7.9%에서 48.1%로 높인 headline 실험(8번)을 보면, 세 가지 조건이 모두 충족됩니다.
- Python 코드 작성: Astra가 네트워크 가중치를 분석하고 수정하는 Python 스크립트를 생성합니다.
- 모델 실행: 생성된 코드로 최대 50회 모델에 실습 문제를 풀게 합니다.
- 반복 평가: sampling settings를 동일하게 유지한 채 점수를 측정합니다.
"원시 가중치를 읽는 것"과는 거리가 멉니다. 실험 1, 2, 4번만 원시 가중치를 직접 읽은 것이며, 이 중에서도 네트워크 크기는 17K에서 172K에 불과합니다. 실제 언어 모델(Qwen 800M, Gemma 270M)이 관여한 실험은 모두 Python 코드를 작성하고, 모델을 실행하고, 반복적으로 평가하는 과정을 거칩니다.
"단일 기술"이라는 주장의 문제
원본 포스트가 전달하는 핵심 메시지는 "단일 기술로 작은 게임 네트워크의 가중치를제로부터 작성하고, 동시에 대규모 모델의 성능을 개선한다"는 것입니다. 만약 정말 단일 기술로 이 두 가지를 모두 수행한다면, 가중치에 대한 깊은 이해를 입증한 것일 것입니다.
하지만 Honnibal이 지적하듯, 이는 단일 기술이 아닙니다.
실험 1, 2, 4번은 원시 가중치를 읽는 기술입니다. 실험 5, 6, 8번은 Python 코드를 작성하고 모델을 실행하는 기술입니다. 실험 3, 7번은 Python 코드로 분석만 하는 기술입니다. 서로 다른 실험 방식을 하나의 capability처럼 포장하면 headline이 만들어집니다.
실제로 Astra가 보여준 능력
Honnibal도 부정하는 것은 아닙니다. Astra가 Python 코드를 작성하고 모델을 실행하는 능력은 "아무것도 아닌 것"이 아닙니다. 인간 ML 엔지니어가 네트워크 가중치를 분석하거나 수정하는 코드를 작성하는 것과 유사한 작업입니다. 1~2년 전의 AI 모델이라면 이 모든 실험에 실패했을 것입니다.
하지만 중요한 차이점이 있습니다.
실험 8b를 보세요. 동일한 방법을 Gemma 3에 적용했을 때 실패했습니다.headline 실험에서 성공한 Qwen 3.5에 특화된 결과일 가능성이 높습니다. "단일 기술"이라면 다른 모델에도 일반화되어야 하는데, Gemma 3에서는 실패했습니다.
개발자에게 주는 교훈
이 논문의 headline을 보고 "AI가 이제 가중치를 직접 읽어서 모델을 개선한다"라고 결론내리기 전에 확인해야 할 것들입니다.
- 실험 설계: headline 실험과 다른 실험이 동일한 방법론으로 수행되었는가?
- 모델 크기: 작은 MLP(수만 개)와 대규모 언어 모델(수억 개)의 결과는 동일하게 해석할 수 있는가?
- Python 실행 여부: 모델에 코드를 실행하게 했는가, 아니면 순수하게 가중치만 분석했는가?
- 일반화 테스트: headline 모델 외의 다른 모델에서도 동일한 결과가 나오는가?
- 비교 기준: PPO-100M보다 좋은 것이 모든 게임에서 좋은 것인가?
headline 숫자만 보고 capability를 판단하는 것은 위험합니다. 실험 표를 보면 headline이 전달하지 않는 7가지 실험이 더 있습니다. 각 실험이 무엇을 했고, 무엇을 하지 않았는지 확인하는 것이 실제 capability를 이해하는 첫걸음입니다.