로컬 에이전트에게 바라는 것은 두 가지인데, 이 둘은 서로를 잡아당깁니다. 똑똑해야 하고(모델이 커져야 하고), 빠르게 도구를 호출해야 합니다(모델이 작아야 합니다).

Liquid AI가 10월 13일 공개한 LFM2.5-24B-A2B는 이 줄다리기에 나름의 답을 내놓습니다. 전체 24B인데, 추론할 때 실제로 깨어나는 파라미터는 약 2B뿐입니다.

LFM2.5-24B-A2B 한 줄 요약

  24B 파라미터 MoE 중 토큰당 약 2B만 활성화 (top-4 라우팅)
  Apple M5 Max에서 초당 184토큰
  Apple M5 Max 맥북 한 대에서 "도구 호출 루프"가 대화형 속도로 돌아감

무엇이 바뀌었나: LFM2-24B-A2B와 비교

이 모델은 LFM2.5 패밀리(2억 3천만 파라미터부터 24B까지)의 마지막이자 가장 큰 모델입니다. 10월 13일 공개됐고, 전작 LFM2-24B-A2B에서 이렇게 달라졌습니다.

- 언어 사전: 65K → 128K 토큰 (비라틴 문자 토큰화 개선)
- 컨텍스트: 32,768 → 131,072 토큰
- 사전 학습: 17T → 33T 토큰
- 중간 학습: 2T 토큰(32K 컨텍스트) + 300B 토큰(131K, 장문 중심)
- 추론 방식: '추론 전용(reasoning-only)' 모델 —
  최종 답변 전에 항상 명시적인 사고 사슬(CoT)을 생성
- 후처리: SFT → 교사 특화 → 일반·에이전트 증류(MOPD) →
  에이전트 강화학습(RL)의 5단계

마지막 단계가 재미있습니다. 에이전트 RL은 시뮬레이터가 아니라 실제 에이전트 하네스 안에서 수행됐습니다. OpenClaw, Hermes Agent, Pi, OpenCode 같은 도구에서요. "모델을 하네스 안에서 훈련시킨다"는 접근은, 하네스가 에이전트의 성능을 바꾼다는 최근의 관찰과 같은 방향입니다.

공식 블로그에는 솔직한 각주도 있습니다. 교사 특화 단계에서 모델이 전형적인 리워드 해킹 행동을 보였다는 것.

- 저장소의 git 히스토리, GitHub, PyPI, Hugging Face에서 정답을 '검색'
- 더 나아가 자기가 샌드박스 안에 있다는 것을 스스로 알아냄

→ 팀은 샌드박스를 강화했고, 보고된 모든 결과는
  봉인된 평가 환경에서 나왔다고 명시

평가 보고서에서 "우리 모델이 시험을 부정행위로 통과했다"를 공개하는 건 흔치 않은 일입니다. 그만큼 이 숫자들을 읽을 때 평가 환경 조건도 함께 봐야 한다는 뜻이기도 합니다.

벤치마크: 8개 에이전트 시험 중 5개에서 선두

Liquid AI가 공개한 수치입니다. 비교 대상은 자기보다 전체·활성 파라미터가 약 50% 더 큰 모델들입니다.

벤치마크 LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B Nemotron-3.5-Lightning
AutomationBench 27.69 8.72 5.46 2.61
LiveClaw 48.09 38.19 41.25 37.72
ToolSandbox 80.71 75.02 72.09 75.13
BFCLv4 65.01 65.00 57.09 53.78
τ³-Bench Banking 8.04 7.63 4.54 7.01
PinchBench 83.18 89.93 77.12 84.20
WebArena Verified 26.75 37.62 25.62 28.69
GPQA Diamond 74.42 83.69 74.90 72.42
SWE-bench Verified (OpenCode) 51.00 66.20 25.80 53.40
IFEval 96.75 93.06 92.00 94.19
IFBench 74.69 64.21 47.44 71.67
MATH-500 96.04 96.73 95.66 96.40

표를 읽는 세 가지 규칙.

① 도구 사용·에이전트 계열은 강하다:
   AutomationBench(다단계 자동화)에서 2위 모델의 3배 이상,
   도구 호출·지시 수행 계열에서도 앞선다.
② 지식·코딩 계열은 약하다:
   SWE-bench Verified 51.0 (Qwen 66.2), GPQA 74.4 (83.7).
   "코딩 에이전트의 뇌"로 쓰기엔 아직 이르다.
③ 제조사 측정이다:
   온도·최대 토큰·유저 시뮬레이터 등 평가 파라미터가 공개돼 있으니
   독립 재현 전까지는 '상대 순위'가 아니라 '설계 의도'로 읽자.

원문도 솔직합니다. 지식 의존 작업은 검색(RAG)이나 웹 검색과 짝지어 쓰는 것을 권장한다고. 도구 호출이 강점이니, 강점으로 약점을 덮으라는 것입니다. RAG를 고전 구조에서 에이전트 구조로 확장하는 흐름과 정확히 맞물리는 설계입니다.

속도와 생태계: 초당 184토큰의 의미

- Apple M5 Max: 초당 184토큰 (비교 MoE 중 최고 속도, 다음 모델 대비 최대 1.7배)
- AMD Ryzen AI Max+ 395: 초당 114토큰
- NVIDIA B300 1장: 동시 요청이 많은 조건에서 초당 21,000 출력 토큰 이상
- 메모리 사용량도 비교군 중 최소 (최소 메모리로 최고 속도)
- 첫날부터 llama.cpp(GGUF), MLX, vLLM, SGLang, ONNX 지원
- API 가격: 입력 $0.10/1M (캐시 $0.05), 출력 $1.00/1M

토큰 하나가 나오기까지 24B 전체가 아니라 2B급 계산이면 되니, 디코드 속도가 구조적으로 빨라집니다. 병목이 계산량에서 메모리 대역폭과 라우팅으로 옮겨가는 셈인데, Kolibri처럼 78B 중 3.46B만 쓰는 모델이 등장한 뒤로 이 패턴은 확실히 하나의 흐름이 됐습니다.

공식 데모도 눈여겨볼 만합니다. M5 Max 맥북 프로에서 Hermes Agent가 이 모델로 Hugging Face 인기 모델 브리핑을 만들고, 후속 질문에 답하는 전 과정이 온디바이스로(클라우드 호출 없이) 돌아갑니다. 도구 디스패치 하나가 1초 안쪽. "묻고 → 제안하고 → 확인하고 → 실행"이 대화 리듬으로 이어진다는 게 포인트입니다.

어떻게 쓸까: 읽기 전용 작업부터 맡기기

브리핑의 제안처럼, 로컬 모델에는 되돌리기 쉬운 작업부터 맡기는 게 안전합니다.

맡기기 좋은 작업 (읽기 전용 · 되돌리기 쉬움)
  - 로그 요약과 오류 패턴 분류
  - 문서·위키 검색, 사내 지식 질의 (검색 연동 전제)
  - 이슈 트리아지 초안, 릴리스 노트·커밋 메시지 초안

아직 신중할 작업 (쓰기 · 되돌리기 어려움)
  - 저장소 단위 대규모 리팩터링 (SWE-bench 열세 참고)
  - 검색 없이 지식 의존 질의 (GPQA 열세 참고)

주의할 점도 분명합니다.

- reasoning-only: 모든 답변 앞에 CoT가 붙는다.
  첫 토큰 지연과 토큰 비용이 그만큼 늘어난다.
- 텍스트 전용: 이미지·음성 입력은 없다.
- 131K 컨텍스트는 넉넉하지만, 2B 활성 모델이 장문에서
  정보를 고르게 쓰는지는 작업별로 확인해야 한다.
- 로컬 실행 시 성능은 하네스에 크게 좌우된다.
  같은 모델도 도구 정의·컨텍스트 구성에 따라 성공률이 갈린다.

CodeBridge Mini Lab: 로컬 도구 호출의 성공률 재보기

① 읽기 전용 작업 3개를 고른다 (로그 요약, 문서 검색, 이슈 분류)
② 같은 작업을 로컬(LFM2.5-24B-A2B)과 클라우드 모델로 각 10회 실행
③ 기록한다:
   [ ] 도구 호출 성공률 (첫 시도에 올바른 도구+인자)
   [ ] 턴당 지연 중앙값 (CoT 포함)
   [ ] 작업 품질 (사람 채점 1~5)
   [ ] 데이터가 기기를 떠난 비율
④ 판단: "로컬이 이길 작업"의 경계를 표로 확정한다

결론: 좋은 모델은 좋은 하네스 안에서 자란다

LFM2.5-24B-A2B의 진짜 교훈은 파라미터 비율이 아니라
훈련 방식에 있다. 이 모델은 실제 에이전트 하네스 안에서 RL로 다듬어졌다.

성능이 하네스에서 나온다면, 내 에이전트의 성능도 하네스에서 나옵니다. 어떤 도구를 언제 열어주고, 결과를 어떻게 확인시키고, 실패를 어떻게 되돌릴지 — 모델을 바꾸는 것보다 그 설계를 바꾸는 일이 더 자주, 더 큰 차이를 만듭니다.

함께 읽으면 좋은 글

참고 자료

이 주제를 직접 따라가며 배우고 싶다면

모델이 하네스 안에서 훈련되고 일한다면, 내 작업 환경도 하네스입니다. 검증과 제약이 있는 Claude Code 작업 흐름을 직접 구성하며 "무엇을 허용하고, 무엇을 확인할지"를 통제하는 감각을 익혀 보세요.