생각은 잠재 공간에서, 행동은 텍스트로: HybridAgents가 바꾸는 에이전트 비용 구조

에이전트가 도구를 쓰려면 지금은 거의 모든 중간 생각을 텍스트로 뱉어야 합니다. 검색 결과를 보고, 다음 검색어를 고르고, 계산 결과를 해석하는 과정이 모두 토큰으로 남습니다. 이 방식은 감사하기 쉽고 도구와 연결하기 쉽지만, 비용과 지연시간이 추론 단계 수에 비례해 늘어납니다.

잠재 추론(latent reasoning)은 반대 방향입니다. 중간 계산을 연속 벡터 공간에서 수행해 토큰 디코딩을 줄입니다. 대신 도구를 호출할 통로가 없고, 사람이 읽을 수 있는 흔적도 남기지 않습니다. 두 방향은 각각 다른 매체를 요구해 왔습니다.

스탠퍼드·UIUC·Together AI 연구진이 10월 13일 공개한 HybridAgents는 이 둘을 한 생성 과정 안에서 오가려는 시도입니다. 내부 추론은 잠재 공간에서, 도구 호출과 외부 관찰은 텍스트로 처리합니다. 논문은 11개 벤치마크에서 평균 10.4% 성능 개선, 텍스트 토큰 35.5~54.7% 절감을 보고합니다.

숫자만 보면 "더 싸고 더 똑똑한 에이전트"입니다. 하지만 이 구조를 API 모델에 바로 붙일 수는 없습니다. 학습과 서빙 인프라를 바꿔야 하고, 비교 조건도 careful하게 읽어야 합니다. 이 글은 논문의 구조와 수치를 풀고, 실무에서 빌려올 수 있는 설계 원칙과 빌려올 수 없는 부분을 구분합니다.

문제: 생각과 행동이 같은 매체에 묶여 있다

현대 LLM 에이전트의 공통 언어는 텍스트입니다. 모델은 다음 토큰을 샘플링하고, 그 토큰이 추론이 되기도 하고 도구 호출이 되기도 합니다. 환경은 텍스트로 응답하고, 그 응답이 다시 컨텍스트에 붙습니다. 이 단순한 규약 덕분에 에이전트는 검색, Python 실행, 파일 조작을 하나의 루프로 묶을 수 있습니다.

대가는 명확합니다. 중간 추론이 길어질수록 디코딩 비용이 늘고, 지연시간이 늘고, 컨텍스트가 찹니다. 잠재 추론은 이 비용을 줄일 수 있지만, 지금의 잠재 추론 모델은 모델 경계 안에 갇혀 있습니다. 도구를 부를 방법도, 추론을 사람이 검토할 방법도 없습니다.

HybridAgents의 질문은 이것입니다. "인간의 언어를 넘어 생각하면서도, 외부 환경에서는 언어로 행동할 수 있는가." 답은 하나의 생성 과정 안에서 두 모드를 오가는 것입니다.

구조: HybridLink와 작업 기억

HybridAgents의 핵심 부품은 두 가지입니다. 텍스트와 잠재 모드를 잇는 가벼운 어댑터 HybridLink, 그리고 여러 턴에 걸친 잠재 컨텍스트를 보존하는 연속 작업 기억입니다.

[한 번의 생성 과정]

텍스트 모드
  "검색이 필요하다"  ──►  <latent> 앵커 토큰
                              │
                              ▼
잠재 모드 (토큰 디코딩 없음)
  h_t ──► HybridLink ──► e_{t+1} ──► 다음 은닉 상태
  여러 스텝을 연속 벡터로 반복
                              │
                              ▼
  </latent> 앵커와 정렬되면 텍스트 모드로 복귀
                              │
                              ▼
텍스트 모드
  도구 호출 ──► 환경 관찰 ──► 작업 기억에 추가
                              │
                              ▼
  다음 턴은 텍스트·잠재·관찰이 섞인 KV 작업 기억에서 재개

HybridLink는 마지막 층의 은닉 상태 h_t를 다음 스텝의 입력 임베딩 공간으로 되돌립니다. 식은 다음과 같습니다.

e_{t+1} = R(h_t) = h_t + W2 · σ(W1 · h_t)

잔차 연결이 원래 의미를 보존하므로, 어댑터는 전체 투영을 처음부터 배우지 않고 분포 차이만 정렬하면 됩니다. 파라미터 수는 대략 2d_h²로, 4B 모델 기준 약 1,000만 개입니다. 백본 전체를 다시 학습하는 것보다 훨씬 작습니다.

텍스트 모드에서 모델은 평소처럼 다음 토큰을 샘플링합니다. <latent> 토큰이 나오면 잠재 모드로 들어가고, 각 스텝의 마지막 은닉 상태를 HybridLink로 다음 입력으로 되먹입니다. 종료는 </latent>와의 코사인 유사도가 가장 높은 토큰이 나올 때입니다. 즉 모델이 언제 텍스트로 돌아올지를 스스로 정합니다.

도구 호출은 텍스트 모드에서만 일어납니다. 검색이나 Python 실행 결과는 텍스트로 돌아오고, 그 KV 항목이 작업 기억에 쌓입니다. 다음 턴은 이 작업 기억에서 바로 재개합니다. 잠재 생각을 텍스트로 재구성하지 않아도 되므로, 멀티턴에서 정보 손실이 없다는 것이 논문의 주장입니다.

여기서 실무적인 힌트가 하나 나옵니다. 잠재 모드는 "도구를 쓰지 않는 구간"에만 쓰입니다. 검색이나 코드 실행이 필요한 순간은 반드시 텍스트로 돌아옵니다. 이 분업이 감사 가능성의 기반입니다. 모든 생각을 숨기는 것이 아니라, 도구와 사람이 봐야 하는 부분만 텍스트로 노출하는 설계입니다.

학습: SFT로 연결하고, RL로 언제 생각할지 배운다

HybridAgents는 기존 LLM을 처음부터 재학습하지 않습니다. 백본은 그대로 두고, 후학습으로 HybridLink와 모드를 연결합니다.

첫 단계는 HybridSFT입니다. 두 번의 패스로 이뤄집니다. 첫 패스에서는 정답 하이브리드 시퀀스를 teacher forcing으로 처리해, HybridLink가 잠재 위치의 다음 입력을 예측하게 합니다. 두 번째 패스에서는 정답 잠재 임베딩을 모델이 만든 잠재 입력으로 바꿔 넣고, 텍스트 위치에는 cross-entropy, 잠재 위치에는 회귀 손실을 겁니다. 이 자기 조건화(self-conditioning)가 없으면, 백본이 자기 HybridLink가 만든 잠재 생각 위에서 추론하는 법을 배우지 못합니다. 논문은 HybridLink 활성화만 했을 때보다 자기 조건화가 평균 30.5% 더 나았다고 보고합니다.

학습 데이터는 기존 텍스트 기반 에이전트 SFT 데이터를 하이브리드 궤적으로 변환해 만듭니다. 54K 하이브리드 궤적을 썼고, 추론 단계를 잠재 모드로 보낼지 텍스트로 남길지는 LLM 전문가 판단과 모델의 예측 엔트로피를 함께 봐서 정했습니다. 도구 상호작용과 디버깅에 필요한 일부 단계는 텍스트로 남깁니다.

두 번째 단계는 HybridRL입니다. 여기에 구조적인 문제가 있습니다. PPO나 GRPO 같은 표준 RL은 모든 생성 위치에 토큰 확률이 있다고 가정합니다. 하지만 잠재 위치는 샘플링된 토큰이 아니라 연속 벡터이므로, 토큰 수준의 중요도 비율을 정의할 수 없습니다.

논문의 해법은 두 가지입니다. 첫째, 하이브리드 정책 분해(policy factorization)입니다. 잠재 생각은 HybridLink가 결정적으로 만들고, 도구 응답은 환경이 주며, 정책이 실제로 샘플링하는 위치는 텍스트 토큰뿐입니다. 따라서 텍스트 위치에 대한 우도비 갱신만으로 전체 하이브리드 궤적을 최적화할 수 있다는 것을 보입니다. 둘째, 정확한 롤아웃 재생(exact rollout replay)입니다. 롤아웃 때 기록한 잠재 입력을 그대로 고정하고, 텍스트 토큰의 우도를 재계산해 정책을 갱신합니다.

보상은 세 가지로 단순합니다. 정답 여부, 형식 위반 페널티, 다중 도구 사용 장려입니다. 모드 사용 자체에는 보상을 주지 않습니다. 잠재와 텍스트를 언제 쓸지는 RL이 스스로 찾게 둡니다.

숫자: 성능보다 비용 구조가 더 흥미롭다

논문은 Qwen3-Base 4B, 8B, 14B를 백본으로 씁니다. 11개 벤치마크는 수학(AIME25, AIME26, MATH500), 지식 추론(GPQA-Diamond, MedQA, MuSiQue), 에이전트 추론(GAIA, HLE, WebWalker, SealQA, DeepSearchQA)으로 구성됩니다.

대표적인 에이전트 벤치마크 결과는 다음과 같습니다. 숫자는 8B와 14B HybridAgent, 그리고 비교를 위해 가장 강한 기준선 중 하나인 ARPO를 함께 적었습니다.

벤치마크	지표	8B HybridAgent	8B ARPO	14B HybridAgent	14B ARPO
GAIA	평균	43.7	38.8	52.4	43.7
WebWalker	평균	42.5	32.0	49.5	40.5
HLE	평균	14.4	8.8	16.0	10.0
SealQA	S-0 / Hard	22.5 / 35.8	18.9 / 26.0	24.3 / 37.8	17.1 / 22.8
DeepSearchQA	Acc / F1	20.0 / 40.7	18.0 / 37.2	21.7 / 46.8	16.3 / 38.2

수학 벤치마크에서도 14B HybridAgent는 AIME25 43.3, AIME26 45.8, MATH500 88.2, GPQA-Diamond 55.1, MedQA 81.7, MuSiQue 34.5를 기록했습니다.

논문이 말하는 개선 폭은 비교군에 따라 다릅니다. 초록은 frontier LLM agent와 agentic framework를 포함한 비교군 대비 평균 10.4% 개선을 말합니다. 본문은 동일 크기의 텍스트·잠재 기준선 대비 RL 단계에서 10.4%, 14B가 가장 강한 agentic 기준선 대비 평균 17.4% 개선이라고 설명합니다. 같은 10.4%가 서로 다른 비교군을 가리키므로, 인용할 때는 조건을 붙여야 합니다.

비용 쪽이 더 실무적입니다. 논문은 텍스트 토큰 사용량이 35.5~54.7% 줄고, 추론 속도가 1.8~2.6배 빨라지며, 비용이 2.7~3.7배 줄었다고 보고합니다. 100만 질문당 추정 비용은 다음과 같습니다.

백본	텍스트 에이전트	HybridAgent	절감 배수
Qwen3-4B-Base	$359	$98	3.7배
Qwen3-8B-Base	$439	$121	3.6배
Qwen3-14B-Base	$470	$176	2.7배

이 비용은 H100 시간당 $2.50, BF16 피크 처리량의 10% 활용을 가정한 디코딩 계산 추정치입니다. 프롬프트 프리필, 컨텍스트 길이에 따른 어텐션, 외부 도구 실행 비용은 제외됩니다. 따라서 클라우드 청구서를 그대로 예측하는 숫자가 아니라, 구조가 어느 방향으로 비용을 줄이는지를 보여주는 지표로 읽어야 합니다.

감사 가능성: 잠재 추론이 곧 블랙박스는 아니다

잠재 추론의 가장 큰 우려는 "생각이 숨겨진다"입니다. 논문은 이 우려에 대해 흥미로운 반론을 제시합니다. HybridAgent의 잠재 스텝은 HybridLink를 통해 가장 가까운 토큰 임베딩으로 읽을 수 있고, 그 결과가 주변 텍스트와 의미적으로 정렬된 의사 텍스트(pseudo-text)처럼 보인다는 것입니다.

더 중요한 것은 텍스트 모드의 밀도입니다. 논문의 Table 7은 HybridAgent가 텍스트 토큰을 43~49% 적게 쓰면서도, 100개 가시 토큰당 핵심 추론 단계는 26~28% 더 많다고 보고합니다. 8B 기준 weak-monitor AUROC는 0.840으로 텍스트 에이전트의 0.772보다 높고, 14B는 0.860 대 0.818입니다. 첫 오류를 올바르게 위치시키는 비율도 8B 99.2% 대 94.2%, 14B 98.1% 대 100.0%로 대등합니다.

이를 뒷받침하는 개입 실험도 있습니다. MATH500에서 잠재 벡터를 무작위 토큰 임베딩으로 바꾸면 8B는 41.2, 14B는 44.6으로 떨어집니다. 반면 가장 가까운 토큰으로 바꾸면 82.6과 87.2로, 원래 성능 84.6과 88.2에서 1~2점만 내려갑니다. 잠재 생각이 실제로 과제 수행에 인과적으로 쓰이고 있으며, 최근접 토큰 읽기가 그 의미의 상당 부분을 보존한다는 뜻입니다.

다만 해석에는 선을 그어야 합니다. 최근접 토큰 읽기는 모델의 충실한 자기설명이 아니라 근사적 투영입니다. 1~2점의 하락은 그 투영이 완벽하지 않다는 신호입니다. "잠재 추론도 완전히 감사 가능하다"가 아니라 "텍스트로 노출되는 부분의 밀도를 높이고, 잠재 부분은 근사적으로 읽을 수 있다"가 정확한 표현입니다.

한계: API 모델에 바로 붙일 수 없다

HybridAgents의 가장 큰 제약은 구조적입니다. 이 방법은 Qwen3-Base 같은 오픈 백본을 후학습하고, 잠재 벡터와 텍스트가 섞인 멀티턴 생성과 KV 작업 기억 전송을 지원하도록 서빙 인프라를 확장해야 합니다. 논문도 현재 서빙 엔진이 멀티턴 하이브리드 생성을 지원하지 않아 학습·추론 인프라를 직접 확장했다고 밝힙니다. 즉, OpenAI나 Anthropic API에 프롬프트만 바꿔 적용하는 종류의 개선이 아닙니다.

실험 조건도 좁습니다. 백본은 4B, 8B, 14B Qwen3-Base이고, 도구 호출은 궤적당 최대 10회, 검색은 Tavily에서 상위 10개 스니펫을 가져옵니다. 학습은 54K SFT 궤적, 12K 심층 추론 예시, 1K 에이전트 검색 예시로 이뤄집니다. 평가는 H100에서 5개 시드로 수행됐고, 롤아웃 온도 1.0, 평가 온도 0.6, top-p 0.95, top-k 20을 씁니다. 이 조건을 벗어난 환경에서 같은 수치가 나온다고 보장할 수 없습니다.

독립 재현도 아직 없습니다. 이 글에서 인용한 수치는 모두 저자 보고입니다. frontier 모델과의 비교는 서로 다른 백본과 하네스 조건을 가로지르는 비교이므로, "14B가 GPT-5.6-Luna보다 낫다"는 식으로 일반화하면 안 됩니다. 같은 크기·같은 학습 예산의 기준선과 비교한 수치를 봐야 합니다.

또 하나의 trade-off는 거버넌스입니다. 논문은 잠재 추론이 제공자 소유의 HybridLink를 통해서만 읽히므로, 텍스트 사고 과정이 유출될 위험이 줄어든다고 설명합니다. 동시에 제공자는 전체 잠재 추론을 볼 수 있고, 고객은 그 일부만 본다면 감사 권한이 비대칭이 됩니다. 이는 기술적 장점이자 정책적 쟁점입니다.

실무에서 빌려올 네 가지

이 논문을 당장 재현할 수 없더라도, 설계 원칙은 빌려올 수 있습니다.

첫째, 생각의 매체와 행동의 매체를 분리하십시오. 모든 중간 추론을 텍스트로 남길 필요는 없습니다. 반대로 도구 호출, 승인, 최종 답변은 텍스트로 남겨야 합니다. 어디까지를 텍스트로 노출할지가 감사 가능성과 비용을 동시에 결정합니다.

둘째, 성공당 비용으로 측정하십시오. 토큰 절감률만 보면 반쪽입니다. 같은 과제를 성공시키는 데 드는 총 토큰, 지연시간, 도구 호출 수를 함께 봐야 합니다. 이 관점은 AI 에이전트 KPI: 토큰에서 성과로에서 더 자세히 다룹니다.

셋째, 텍스트 감사 채널을 설계하십시오. 잠재 추론을 도입하더라도, 도구 호출과 주요 결정은 텍스트로 남겨야 합니다. 논문의 Table 7이 보여주는 것은 "텍스트가 적어도 핵심 단계는 더 밀도 있게 남길 수 있다"는 가능성입니다. 이는 프롬프트 설계와 로그 설계의 문제이기도 합니다.

넷째, 해석 가능성을 주장하려면 개입 실험을 하십시오. "읽을 수 있다"와 "충실하다"는 다릅니다. 잠재 표현을 바꿨을 때 성능이 어떻게 변하는지, 최근접 토큰 읽기가 얼마나 보존되는지를 확인해야 합니다. 이 글의 Table 5 예시처럼, 무작위 교체와 최근접 토큰 교체를 비교하는 것이 최소한의 검증입니다.

결론: 토큰을 줄이는 것이 아니라 일의 단위를 다시 설계하는 것

HybridAgents의 진짜 기여는 "토큰을 35% 아꼈다"가 아닙니다. 에이전트의 생성 과정을 생각과 행동의 두 매체로 나누고, 각 매체가 잘하는 일을 하도록 학습시킨 것입니다. 잠재 공간은 빠르고 조밀한 내부 계산을, 텍스트는 도구 호출과 사람의 검토를 맡습니다.

이 구조가 보편화되면 에이전트 평가도 바뀌어야 합니다. 정확도만 보는 것이 아니라, 성공당 토큰 비용, 지연시간, 감사 가능성, 잠재 추론의 충실성을 함께 봐야 합니다. 추론 노력(reasoning effort)을 높이는 것과 비용 대비 효과를 비교하는 것이 별개의 문제가 아니게 되는 이유입니다.

당장 API 모델에 적용할 수는 없습니다. 하지만 "모든 생각을 말하게 하지 말고, 행동과 검증에 필요한 부분만 텍스트로 남기라"는 원칙은 오늘의 에이전트 설계에도 적용할 수 있습니다.

참고 자료

이 주제를 직접 따라가며 배우고 싶다면

에이전트의 추론 매체와 도구 실행을 분리해 설계하려면, 하네스 안에서 어떤 단계를 텍스트로 남기고 어떤 단계를 내부 계산으로 돌릴지 결정해야 합니다. 실행과 검증이 반복되는 에이전트 루프를 직접 구성해 보면 이 논문의 분업이 왜 중요한지 체감할 수 있습니다.

하네스 · 루프 · 그래프 엔지니어링 강의 보기