Ultramarine 1 Flash: '작업당 0.13달러'를 말하는 지식 노동 모델

10월 14일, Paper Instruments가 Ultramarine 1 Flash를 공개했습니다. 겨냥하는 대상이 독특합니다. 코딩이 아니라 "전문 지식 노동(professional knowledge work)"입니다. 금융, 법률, 컨설팅, 운영 같은 영역에서 문서·표·프레젠테이션 같은 산출물을 만들어 내는 일입니다.

창업자 Daanish Khazi는 공개 글에서 이렇게 말했습니다. "5명 팀이 약 30만 달러로, Fable급 성능을 60배 저렴하게." 206K가 넘는 조회를 기록하며 화제가 됐고, Hacker News에서도 주목받았습니다.

이 글은 그 주장을 뜯어봅니다. 숫자가 어디서 나왔는지, 정답이 없는 업무를 어떻게 학습시켰는지, 그리고 어디까지 믿어야 하는지까지.

주장과 근거

핵심 성적표부터 보겠습니다. 모든 값은 Paper Instruments가 자체 발표한 것입니다.

먼저 정직하게 읽어야 할 부분입니다. Ultramarine이 모든 항목에서 1등은 아닙니다. AutomationBench에서는 DeepSeek V4.1 Flash가, DiligenceBench와 APEX-Agents에서는 Gemini 3.8 Flash와 Claude Fable 5가 앞섭니다. 코딩 벤치마크를 참고로 보면 격차는 더 분명합니다. Terminal-Bench 2.1에서 Ultramarine은 83.2, DeepSeek V4.1 Flash는 90.6, Gemini 3.8 Flash는 89.4입니다.

즉 이 모델의 강점은 "전 영역 최강"이 아니라 특정 지식 노동 과제에서의 가성비입니다.

진짜 주장은 '작업당 비용'이다

이 릴리스에서 가장 눈에 띄는 숫자는 점수가 아니라 비용입니다.

PI Knowledge Work (Paper Instruments 내부 스위트, max reasoning)

Ultramarine 1 Flash      59.3점   작업당 $0.13
Claude Fable 5           57.8점   작업당 $8.19
GPT-5.6 Sol              55.1점   작업당 $2.09
Claude Opus 5.5          61.9점   작업당 $6.96   (Ultramarine보다 2.6점 높음)
GPT-6 Sol                61.4점   작업당 $1.26   (Ultramarine보다 2.0점 높음)

읽는 법이 중요합니다. Ultramarine은 Fable 5와 GPT-5.6 Sol보다 높은 점수를 훨씬 낮은 비용에 냅니다. 반대로 가장 강한 모델들(Opus 5.5, GPT-6 Sol)에게는 2점 안팎 뒤집니다. 논문은 이 지점을 "비용-품질 프런티어에 앉는다"고 표현합니다. 같은 비용 구간의 다른 39개 실행 중 27개가 더 비싸면서 더 낮은 점수였다고 밝힙니다.

이 표는 벤더의 내부 벤치마크라는 점을 기억해야 합니다. 하지만 "작업당 비용"을 전면에 세운 발상은 실무적으로 유효합니다. 에이전트 도입을 검토할 때 우리는 흔히 토큰 단가를 보지만, 실제 의사결정에 필요한 값은 "성공한 작업 하나에 얼마를 썼는가"입니다. 이 지표에 대한 배경은 성공한 작업당 비용으로 AI를 보는 법에 정리해 두었습니다.

왜 어려운가: 정답이 없는 업무를 채점하기

이 모델의 기술적 핵심은 "비정형(non-verifiable) RL"입니다. 풀어 보겠습니다.

코딩은 채점이 쉽습니다. 단위 테스트를 통과하거나, 정규식으로 확인하거나, 컴파일이 되거나. 그래서 지금까지 에이전트 후학습은 검증 가능한 과제, 특히 코딩에 집중됐습니다. 그런데 전문 업무의 대부분은 검증이 불가능합니다. 실사 메모, 소송 연표, 투자위원회 자료 같은 산출물은 "정답"이 없습니다. 품질은 판단과 취향에 달려 있고, 그래서 보상(reward)을 과제마다 설계해야 합니다.

Paper Instruments의 접근은 각 과제를 세 요소로 형식화하는 것입니다.

RL 과제 하나 = [환경] + [지시] + [채점기]

환경: 에이전트가 사는 워크스페이스
      (파일 시스템 + 살아 있는 시스템:  CRM·ERP·창고·티켓 등)
지시: 전문가가 받는 것처럼 주어지는 업무
채점기: 그 산출물을 평가하는 루브릭 + 채점 하네스

가장 어려운 부분은 루브릭의 기준(criterion)을 쓰는 일입니다. 여기에 아주 직관적인 함정이 있습니다.

기준이 너무 구체적이면 (과적합)
  → 정답 레퍼런스 하나를 그대로 베껴서,
    똑같이 옳은 다른 표현을 탈락시킨다

기준이 너무 모호하면 (모호)
  → "적절한 권고를 제공한다" 같은 문장은
    그럴싸하게 들리지만 틀린 답에도 점수를 준다

좋은 기준은 '하나의 일관된 명제'를 검사한다.
  · 무엇을 확인했고, 어떤 결정이 따라오고, 무엇이 아직 열려 있는지
  · 단, 여러 성과는 각각 별도 기준으로 쪼갠다
    (하나를 맞히고 다른 하나를 놓쳐도 부분 점수를 받게)

이 판단을 자동화하려고, 환경·지시·루브릭을 도메인별 파이프라인으로 합성합니다. 규모는 이렇습니다.

[커리큘럼 규모]
도메인 4개        : 금융 · 법률 · 컨설팅 · 운영
실무 영역 19개
환경 타입 88개
태스크 하나 만드는 데 수십 개의 독립 에이전트 루프 + 여러 라운드 검토
환경당 조합 공간 약 10^7 ~ 10^10

환경은 실제 자료로 채웁니다. SEC EDGAR 공시(10-K, 10-Q, 8-K, 위임장, S-1 등), 공개 웹 자료(보도자료, 투자자 발표), 애널리스트 리포트, 그리고 합성 문서(계약서, 사내 보고서, 이메일). 산출물은 Excel 모델, PowerPoint 덱, Word·PDF 문서처럼 실무 그 자체입니다.

어떻게 학습시켰나: 하네스 Feather

모델만 만든 게 아니라 하네스도 새로 만들었습니다. 이름은 Feather입니다.

[Feather 설계 요약]

1. 기존 하네스 조사
   Claude Code, Codex, Cursor, Kimi Code, OpenAI Agents SDK,
   OpenCode, OpenHands, Qwen Code, Mini SWE Agent, Terminus,
   SWE-agent 의 도구 계약과 실행 구조를 비교

2. 공통 규약으로 새 Python 하네스 구성
   · 파일 도구: read, edit, write, grep, glob (전용 도구)
     - edit/write는 read로 기록한 '내용 지문(fingerprint)'을 검사
     - 파일이 바뀌었으면 수정을 거부하고 다시 읽게 함
   · 셸 도구: bash, task_list, task_output, task_stop
     - 호출마다 새 셸, 상태를 물려주지 않음
   · 계획 도구: todo_write (압축돼도 작업 계획 유지)

3. 시스템 프롬프트는 3문장(약 50토큰)
   실제 프로덕션 하네스는 1,800~4,400토큰.
   훈련 중에는 지시를 최소화해 탐색을 막지 않음

이 선택들이 보여주는 철학은 분명합니다. 모델이 특정 하네스에 과하게 맞춰지는 것을 피하고, 여러 하네스로 전이되는 정책을 기르려 한다는 것. 실제로 블로그는 "여러 하네스를 동시에 학습하는 것은 예산상 불가능해서, 대신 공통 규약으로 하나를 만들었다"고 설명합니다.

부수적인 실무 디테일도 눈에 띕니다. 파일 50개 업로드를 개별로 쓰던 경로를 tarball 하나로 묶어 52초에서 2.2초로 줄였습니다(96% 감소). 샌드박스는 E2B 위에서 에이전트 실행, MCP 서비스, 채점을 각각 분리했습니다. 모델이 자기 하네스나 자격 증명, 채점기를 건드리지 못하게 하는 구조입니다.

전: 어디까지 믿어야 하나

좋은 소식만 정리하면 균형이 깨집니다. 검증 포인트를 정리하면 이렇습니다.

[신뢰도를 낮추는 요인]
1. 내부 평가 의존
   - 비용-품질 곡선의 핵심인 PI Knowledge Work는 자체 스위트
   - JobBench는 외부(워싱턴대·스탠퍼드·CMU·MIT-IBM)가 개발했지만,
     Paper Instruments는 훈련 커리큘럼을 '전문 업무 유형'에 맞춰 구성
     → 벤치마크 도메인과 훈련 도메인이 겹친다 (벤치 최적화 우려)

2. 가중치 미공개
   - 공식 페이지는 10월 15일 기준 "model weights coming soon"
   - 창업자는 "2주 뒤 공개"라고 밝혔지만, 라이선스는 확정 전
   - Feather 훈련 코드는 MIT로 공개되지만, 데이터·환경 전체는 아님

3. 처음부터 만든 모델이 아니다
   - 베이스는 GLM-5.3 Flash (기존 오픈 모델)
   - 즉 작은 팀이 프런티어를 새로 사전학습한 게 아니라,
     강한 오픈 모델을 전문 업무로 후학습한 사례

[확인된 사실]
- API 제공 중: 입력 $0.15 / 출력 $0.50 / 캐시 입력 $0.03 (1M 토큰 기준)
- 추론(reasoning) 항상 켜짐, low/high/max effort 지원
- 출력 상한 32,768 토큰 (추론 포함)
- OpenAI·Anthropic 호환 엔드포인트, Word/PPT/Excel 라이브러리 제공

특히 마지막 항목이 중요합니다. 이 출시의 진짜 뉴스는 "5명이 30만 달러로"라는 서사와 함께, 강한 오픈 모델을 특정 도메인에 후학습하면 그 도메인에서 프런티어에 근접할 수 있다는 실증일 수 있습니다. 벤치마크 최적화 논쟁과 별개로, 오픈 모델 위의 후학습이 어디까지 가는지 보여주는 사례입니다.

결론: 도입 전에 '작업당 비용'으로 재라

브리핑의 액션을 실험으로 옮기면 이렇습니다.

[지식 노동 모델 비교 미니 프로토콜]

1. 내 업무에서 반복되는 산출물 5개를 고른다
   (정산표 갱신, 주간 리포트, 제안서 초안, 회의 자료 등)

2. 같은 입력과 같은 산출물 형식으로 후보 모델을 돌린다
   [ ] 동일한 지시문과 파일
   [ ] 동일한 reasoning effort
   [ ] 동일한 출력 형식(문서·표·슬라이드)

3. 하나의 루브릭으로 채점한다
   [ ] 사실 정확성   (숫자가 맞는가)
   [ ] 분석 타당성   (결론이 근거에서 나오는가)
   [ ] 완결성       (요구한 항목이 다 있는가)
   [ ] 출처 충실성   (어느 파일에서 왔는지 밝히는가)
   [ ] 형식 준수     (원본 구조를 지키는가)

4. '작업당 비용'과 '사람이 고친 시간'을 함께 기록한다

핵심 문장은 이렇습니다.

모델 경쟁은 이제 '추론 점수'에서
'업무 산출물의 품질 ÷ 작업당 비용'으로 옮겨가고 있다.

Ultramarine 1 Flash가 그 방향을 정확히 겨냥한 모델입니다. 가중치가 실제로 공개되고, 외부에서 같은 과제로 재현 검증이 쌓일 때 이 주장의 무게가 확정될 것입니다. 그때까지는 숫자를 방향으로 읽고, 내 업무의 작업당 비용으로 판단하는 것이 안전합니다. 이 주제를 더 깊이 파려면 오픈 웨이트 모델의 비용-성능과 벤치마크 리워드 해킹을 함께 보면 좋습니다.

함께 읽으면 좋은 글

• 성공한 작업당 비용으로 AI를 보는 법
• GLM-5.3: 빠른 지연시간을 위한 서빙 최적화
• AI 벤치마크 리워드 해킹: 점수를 올리는 함정

참고 자료

• Ultramarine 1 Flash: Scaling Non-Verifiable RL (Paper Instruments, Oct 14, 2026)
• Ultramarine 1 Flash 제품 페이지
• Daanish Khazi 공개 발표 (X, Oct 14, 2026)

이 주제를 직접 따라가며 배우고 싶다면

문서·표·프레젠테이션 같은 업무 산출물을 AI에게 맡기는 일은, 작은 자동화 하나를 직접 만들어 볼 때 가장 빨리 감이 옵니다. 엑셀과 파이썬으로 반복 업무를 줄이고, 그 위에 AI를 얹는 흐름을 따라가 보세요.

• Cursor AI 업무 자동화 강의 보기