1차 출처 확인 완료
Simon Willison 블로그(simonwillison.net)에서 2026년 11월 3일 자 게시물을 확인했습니다. Qwen 3.8 27B 로컬 추론을 통한 게임 식별 실험 기록이 포함되어 있습니다.
확인된 출처:
- Simon Willison 블로그: https://simonwillison.net/ (2026년 11월 3일 게시)
- Qwenputer GitHub: https://github.com/divagr18/qwenputer (654+ stars)
- Qwenputer 블로그: https://divagr.com/blog/qwenputer
- nesformer GitHub: https://github.com/dbreunig/nesformer (287+ stars)
로컬 모델로 게임을 식별한다
Simon Willison이 11월 3일 발표한 실험 기록에 따르면, Qwen3.8 27B 모델로 네 가지 게임 중 세 가지를 가중치만으로 식별했습니다. 성공한 실행에는 약 46~65분이 걸렸고, Freeway에서는 실패했습니다.
연구진 발표와 별개로 수행된 개인 실험이지만, 반복 횟수가 제한되어 일반적인 성공률로 해석할 수는 없습니다. 그럼에도 이 실험에서 얻을 수 있는 정보는 많습니다.
왜 46~65분이 걸리는가?
27B 모델의 로컬 추론에 46~65분이 걸린다는 것은 다음과 같은 의미를 가집니다.
- 모델 크기 — 27B 파라미터는 로컬에서 실행하기에는 큰 모델입니다. 양자화(quantization)를 사용하지 않으면 GPU 메모리가 50GB 이상 필요합니다.
- 토큰 수 — 게임 식별을 위해 모델이 얼마나 많은 토큰을 생성하는지에 따라 시간이 결정됩니다.
- GPU 성능 — 사용하는 GPU에 따라 추론 속도가 크게 달라집니다.
이 시간이 "실무에 적합한가"는 사용 사례에 따라 다릅니다. 일회성 분석이라면 1시간이 허용될 수 있지만, 반복적인 모델 평가에는 적합하지 않습니다.
Freeway는 왜 실패했는가?
네 가지 게임 중 Freeway만 실패했다는 점은 흥미로운 단서를 제공합니다.
Freeway는 Atari 2600 게임 중에서도 특히 복잡한 그래픽과 다수의 동적 객체를 가진 게임입니다. 다른 세 가지 게임과 Freeway의 구조적 차이:
- 시각적 복잡도 — Freeway는 화면에 많은 캐릭터와 장애물이 동시에 움직입니다.
- 게임 상태 전이 — 다른 게임보다 상태 공간이 넓을 수 있습니다.
- 가중치 분포 — Freeway를 학습한 모델의 가중치가 다른 게임과 다른 패턴을 가질 수 있습니다.
이 차이는 "가중치만으로 게임을 식별할 수 있다"는 주장이 모든 게임에 적용되지 않음을 보여줍니다.
로컬 추론 비용: 실제 도입을 판단하는 데이터
이 실험이 실무에 주는 가장 큰 교훈은 "로컬 모델로 연구 아이디어를 검증할 수 있지만 추론 비용이 크다"는 점입니다.
구체적인 비용 요소:
| 요소 | 추정 범위 | 비고 |
|---|---|---|
| GPU 메모리 | 50GB+ (FP16) | 27B 모델의 기본 요구사항 |
| 추론 시간 | 46~65분/성공 | Freeway 제외 |
| 전력 비용 | GPU 성능에 따라 다름 | 로컬 환경 기준 |
| 반복 비용 | 실패 시 추가 시간 | Freeway 실패 포함 |
실무에서 이 정보를 어떻게 활용하는가?
1. 모델 버전·양자화·컨텍스트 기록
로컬 모델로 실험할 때는 다음을 반드시 기록해야 합니다.
- 모델 버전 (Qwen3.8 27B의 정확한 빌드 번호)
- 양자화 방식 (FP16, INT8, INT4 등)
- 컨텍스트 길이 설정
- 추론 시간 (성공/실패 구분)
- 오답 사례 (Freeway와 같이 실패한 게임)
2. 성공률의 한계 이해
이 실험은 반복 횟수가 제한되어 있습니다. 4개 게임 중 3개 성공은 "일반적인 성공률"으로 해석할 수 없습니다. 더 많은 게임과 더 많은 반복이 필요합니다.
3. 로컬 모델 연구의 가능성
연구진 발표와 별개로 개인이 로컬 모델로 동일한 실험을 수행할 수 있다는 점은, 연구 접근성에 새로운 가능성을 열어줍니다. 다만 비용과 시간을 감수해야 합니다.
한계와 주의사항
- 제한된 반복 — 4개 게임 중 3개 성공은 일반적인 성공률로 해석할 수 없습니다.
- 하드웨어 조건 미공개 — 사용한 GPU 모델, 메모리, 양자화 방식이 명시되지 않았습니다.
- Freeway 실패 원인 불명 — 게임 구조적 차이인지, 모델 한계인지 구분되지 않습니다.
- 개인 실험 — 연구진 발표와 별개로 수행된 실험이므로, 공식 결과와 구분해야 합니다.
결론
로컬 Qwen 27B로 가중치만 보고 게임을 식별할 수 있다는 실험은, 로컬 모델로 연구 아이디어를 검증할 수 있음을 보여줍니다. 하지만 46~65분의 추론 시간과 Freeway 실패는 실제 도입을 판단하는 중요한 데이터입니다.
지금 할 수 있는 행동:
- Simon Willison 블로그 원문: https://simonwillison.net/ 확인
- Qwenputer GitHub: https://github.com/divagr18/qwenputer 코드 검토
- nesformer GitHub: https://github.com/dbreunig/nesformer 참고
- 자신의 하드웨어 환경에서 동일 실험 재현 (GPU 메모리, 추론 시간 확인)
- 더 많은 게임으로 반복 실험하여 성공률 추정
이 글은 1차 출처 확인 후 게시 상태로 변경되었습니다. 출처 URL은 2026년 11월 4일 기준입니다.