Thinking Machines가 2026년 11월 5일 공개한 Inkling 2 Small은 총 594B 파라미터 중 17B만 활성화하는 MoE 모델입니다. 발표문에는 장시간 코딩, 연구, 시각 작업 데모와 많은 벤치마크가 실려 있습니다. 이 글은 순위가 아니라 "그 숫자를 어떤 조건에서 읽어야 하는가"와 "내 저장소에서 어떻게 확인하는가"에 집중합니다. 아래 수치는 모두 발표문의 것이며 제가 재현하지 않았습니다.
무엇이 공개됐나
- 구조: MoE, 총 594B·활성 17B. 이미지 입력을 받고 effort를 조절할 수 있으며 오디오는 지원하지 않습니다.
- 제공 방식: 처음에는 Tinker(플레이그라운드, 파인튜닝, 샘플링)로 제공되며 가중치는 비공개입니다. 발표문은 외부 안전 테스트 후 "다음 주" Apache 2.0으로 전체 가중치를 공개할 계획이라고 적었습니다. 계획이므로, 실제 공개는 확인된 뒤에 믿어야 합니다.
- 컨텍스트: 단일 최대치는 명시되지 않았고, 사전 학습 단계별로 512K와 1M, RL에서는 256K와 컴팩션을 썼다고 합니다.
- 학습: 8.4T 토큰을 NVFP4로 사전 학습하고 이후 단계를 거쳤으며, RL은 1,075 스텝, 2,048 GPU로 9일이 걸렸다고 합니다.
코딩 관련 공개 수치
| 벤치마크 | 발표 수치 | 발표문 내 표기 |
|---|---|---|
| DeepSWE v1.1 | 72.1% | 2위 |
| SWEBench Pro v2 (Hard) | 86.3% | 2위 |
| FrontierCode v2.0 | 25.4% | 2위 |
| Vibe Code Bench v1.1 | 81.6% | 표기 없음 |
| Terminal Bench Science v0.1 | 5.7% | 표기 없음 |
| PatchEval | 79.6% | 2위 |
"2위"는 발표문이 고른 비교 대상 안에서의 순위입니다. 비교 대상 전체 목록과 각 모델의 측정 환경이 같은지는 제가 독립적으로 확인하지 못했습니다.
평가 조건이 숫자의 일부다
모든 평가는 effort 0.99(발표문 표현으로 xhigh), temperature 1.0, 최대 궤적 1M 토큰으로 실행됐습니다. 직전 Inkling Small이 256K였던 것과 비교하면 토큰 예산이 4배입니다. 즉 이 점수는 "긴 궤적을 허용했을 때의 상한"에 가깝고, 짧은 예산이나 낮은 effort에서의 성능을 보장하지 않습니다. 비용·지연 시간은 발표문에 가격이 없어서 알 수 없습니다.
발표문이 스스로 인정한 약점
- 간결하지 않고, 스킬이 많은 코드베이스에서 도구를 잘못 고르는 경우가 있습니다.
- 채팅 최적화가 덜 되어 있고, 안전 관련 질의에 과민하게 반응합니다.
- 정렬 평가에서는 GPT-6.1 Sol 같은 비공개 가중치 모델에 뒤처집니다.
특히 첫 번째는 에이전트 하네스에서 중요합니다. 도구가 많을수록 선택 오류가 늘 수 있으므로 이 모델을 쓴다면 도구 목록을 줄이고 시작하는 것이 안전합니다. 이건 발표문 약점에서 제가 끌어낸 실무 추정입니다.
같은 저장소·같은 테스트로 비교하기
공개 벤치마크 대신 이런 순서로 직접 비교해 보세요. 아래 항목은 제안이며 제가 수행한 실험이 아닙니다.
- 최근 해결된 이슈 10~20개를 골라, 수정 전 커밋과 실패하는 테스트를 고정합니다.
- 기존 모델과 Inkling 2 Small에 같은 프롬프트·도구·예산(토큰, 시간)을 줍니다.
- 성공률, 사람이 고친 횟수, 불필요한 파일 변경, 토큰과 시간, 비용을 같이 기록합니다.
- 같은 이슈를 effort를 바꿔 한 번 더 돌려 민감도를 봅니다.
벤치마크 숫자를 읽는 기본기는 AI 벤치마크 점수만 보면 틀릴 수 있다와 벤치마크 버전이 바뀌면 점수가 달라지는 이유에 정리했습니다.
결론
Inkling 2 Small은 오픈 가중치로 공개될 예정인 대형 MoE 코딩 모델이라는 점에서 주목할 만합니다. 하지만 지금 확인된 것은 발표한 쪽의 측정과 공개 계획뿐입니다. 가중치와 라이선스가 실제로 공개되는지 확인하고, 무엇보다 자기 저장소의 테스트로 성공률과 수정 횟수를 비교한 뒤 도입을 판단하세요.
참고
- Thinking Machines, Introducing Inkling 2 Small (2026-11-05, 2026-11-07 확인)