10월 1일에 Microsoft AI가 첫 스트리밍 transcription 모델을 냈습니다. MAI-Transcribe-2-Streaming. 60개 언어, continuous language detection, Artificial Analysis의 partial·final streaming transcript 정확도 1위. 정확도뿐 아니라 latency까지 Pareto frontier에 있다는 것이 핵심 주장입니다.

같이 나온 MAI-Voice-2.1·Flash와 묶으면 Speech → Agent → Speech를 Microsoft stack만으로 짤 수도 있습니다.

뭐가 나왔나: 듣기와 말하기 세트

모델 내용
Transcribe-2-Streaming 실시간 transcription, 첫 partial이 오디오 수신 후 100ms 조금 넘게, 60개 언어
Voice-2.1 23개 언어·26개 로케일, 한 목소리로 원어민 억양, 수 초 참조로 복제
Voice-2.1-Flash 45초 오디오 종단 지연 150ms, 100만 자당 $15($22 대비)
가격 Transcribe 시간당 $0.54 (연말까지 introductory)

내부 평가 표현이 재미있습니다. 가장 가까운 경쟁자보다 transcript에 단어가 2배 빨리 나온다고 합니다. 말이 끝나기 전에 partial이 나오니, voice agent가 문장 끝을 기다리지 않고 추론·도구 호출을 시작할 수 있습니다.

예전: 말 끝 → 전체 인식 → 추론 → 말하기
지금: 말 중 → partial → 추론·도구 선행 → 말하기
→ "듣는 동안 일한다"가 됨

Gemini Live 글에서 대화 중 도구 실행이 핵심이라고 했는데, partial이 그 시작 버튼입니다.

왜 4 latency인가: 하나만 재면 속는다

브리프의 액션을 측정표로 풀면 이렇습니다.

voice agent 4 latency:
① speech→partial: 말이 partial로 나오는 시간 (100ms대가 목표)
② partial→final: 확정 transcript까지 시간
③ final→first-token: agent 추론 시작~첫 토큰
④ first-token→first-audio: TTS 첫 소리까지

전체 응답시간 1개만 재면 어디가 느린지 모른다
→ 4개를 따로 재야 병목이 보인다

속도 글의 첫 토큰·완성 구분을 음성에 적용한 것입니다. 음성은 ③④에 TTS(Flash 150ms 같은)가 더 붙으니 측정이 더 잘게 나뉩니다.

설계 함의: 인터럽트와 캐싱

partial 시대의 설계 원칙 3개입니다.

1. 인터럽트를 1급으로:
   - 말이 끝나기 전에 끼어들 수 있어야 함
   - partial이 바뀌면(revise) 추론도 고쳐야 함 (확정 전 가설 취급)

2. 캐싱과 분리:
   - 자주 묻는 것은 검색·STT 전에 캐시부터 ([캐싱 글](/blog/prompt-caching-ai-api-cost/))
   - 음성은 텍스트보다 반복이 잦다 (인사·확인·정정)

3. 정확도와 지연을 같이:
   - AA처럼 partial·final 정확도를 따로 본다
   - Pareto 위인지 (정확한데 느리면 음성에서 진다)

qwen omni 글의 멀티모달 파이프라인과도 이어집니다. 듣기·보기·말하기가 한 파이프라인이면 지연 예산을 나눠야 합니다.

CodeBridge Mini Lab: 4 latency 재기

① 음성 질문 10개를 정한다 (짧은 지시 5 + 긴 설명 5)
② 4개를 잰다 (스톱워치·로그):
   [ ] speech→partial (목표 100ms대)
   [ ] partial→final
   [ ] final→first-token
   [ ] first-token→first-audio
③ 판정:
   - ①이 크다 → STT 교체 검토 (Transcribe류 비교)
   - ③이 크다 → 추론 모델·effort 조정 ([Sonnet high](/blog/sonnet-5-5-high-effort-sweet-spot/))
   - ④가 크다 → TTS 교체 검토 (Flash류 비교)
   - 전부 작다 → 인터럽트 UX 개선으로 체감 올리기

속도 글의 500토큰 체감 재기를 음성용으로 바꾼 것입니다.

결론: 듣는 속도가 에이전트 속도다

한 줄로 정리합니다.

음성 에이전트 UX는 LLM만큼 STT partial·TTS·인터럽트에 좌우된다.

MAI 세트가 보여주는 것은 듣기·말하기의 표준 부품화입니다. Transcribe로 듣고 Voice로 말하고, 사이는 내 agent가 채웁니다. 오늘 할 일은 하나입니다. 우리 음성 파이프라인의 4 latency를 재는 것. 어디가 느린지 알면 무엇을 바꿀지 보입니다.

함께 읽으면 좋은 글

참고 자료

이 주제를 직접 따라가며 배우고 싶다면

듣기·판단·말하기 파이프라인을 구조로 설계해보고 싶다면, 하네스·루프·그래프를 순서대로 쌓는 과정이 이 글의 4 latency와 바로 이어집니다.