AI 코딩 도구를 도입할 때 대부분의 엔지니어링 팀은 모델 자체의 성능 순위(MMLU, HumanEval, SWE-bench 등)를 가장 먼저 확인합니다. 특정 모델이 벤치마크 1위를 기록하면 어떤 환경에 올려두어도 가장 뛰어난 결과가 나올 것이라 가정하기 쉽습니다.

하지만 독립 연구 그룹 RUNTA가 발표한 FrontierHarness Eval v1.1의 대규모 실험 데이터는 이 직관을 정면으로 반박합니다. 22개의 에이전트 하네스와 5개 프런티어 모델, 총 27,280회에 달하는 교차 실행을 측정한 결과, "모든 모델에 보편적으로 우월한 하네스는 존재하지 않는다"는 사실이 확인되었습니다.

27,280회 실행이 드러낸 핵심 발견

FrontierHarness Eval v1.1은 Claude 3.5 Sonnet, GPT-4o, Codex 계열 등 5개 주요 모델을 고정한 채, 에이전트 실행 환경(하네스)만을 변경하며 동일한 실무 코딩 과제를 해결하도록 설계되었습니다.

연구진이 공개한 데이터에서 도출된 핵심 지표는 다음과 같습니다.

  1. 동일 모델 내 성공률 편차 (최대 35%p): 동일한 모델 가중치와 temperature를 사용하더라도, 프롬프트 주입 방식과 도구 호출 체계가 달라지면 작업 통과율이 44%에서 79%까지 벌어졌습니다.
  2. 작업당 비용 순위의 극단적 역전: 하네스 A에서 가장 저렴한 비용으로 1위를 기록한 모델이, 하네스 B에서는 불필요한 도구 재호출과 문맥 반복으로 인해 작업당 비용 꼴찌로 추락했습니다.
  3. 모델별 최적 하네스의 불일치: 모델 A에 최적화된 프롬프트 압축 및 에러 피드백 루프를 모델 B에 그대로 이식할 경우, 오히려 환각률이 증가하고 디버깅 턴 수가 2.3배 늘어났습니다.

왜 하네스에 따라 비용 순위가 뒤바뀌는가?

하네스는 모델에게 작업을 전달하고 도구 실행 결과를 돌려주는 오케스트레이션 제어면(Control Surface)입니다. 세부 설계 차이가 누적되어 막대한 격차를 만들어냅니다.

1. 도구 정의(Tool Schema)의 간결성과 타입 엄격성

일부 모델은 장황한 JSON Schema 설명을 읽을 때 핵심 제약 조건을 놓치는 반면, 컴팩트한 TypeScript 인터페이스 형태로 도구를 정의했을 때 유효한 인자 전달 확률이 급상승합니다. 반대로 다른 모델은 타입 명시만으로는 매개변수 유효성을 파악하지 못해 상세한 텍스트 주석이 필수적입니다. 모델의 학습 편향과 하네스의 도구 정의 양식이 충돌하면 불필요한 스키마 정정 턴이 발생합니다.

2. 컨텍스트 압축(Context Truncation) 전략

에이전트가 파일 탐색과 테스트 실행을 거치며 쌓이는 로그를 어떻게 잘라내는지에 따라 추론 안정성이 갈립니다.

  • 슬라이딩 윈도우: 최근 10턴만 남기고 이전 기록을 날리는 하네스는 장기 메모리가 필요한 리팩터링 작업에서 길을 잃습니다.
  • 요약 기반 하네스: 이전 턴을 주기적으로 요약하는 방식은 토큰은 절약하지만, 컴파일러 에러의 핵심 줄 번호를 누락하여 오작동을 유발할 수 있습니다.

3. 오류 피드백 루프의 개입 방식

테스트가 실패했을 때 단순히 stderr 전문을 모델에 재주입하는 하네스는 토큰 소모를 폭증시킵니다. 실패한 어설션 줄과 연관 파일 diff만 추출해 주입하는 '정밀 피드백 하네스'는 실패 복구 속도를 40% 이상 개선했습니다.

벤치마크 결과 비교: 모델과 하네스 매트릭스

RUNTA 연구진이 제시한 대표 실행 결과 요약은 다음과 같습니다.

평가 축 하네스 설계 A (원시 로그 주입) 하네스 설계 B (구조화 정밀 피드백) 격차 및 영향
동일 모델 작업 성공률 52.4% 81.2% +28.8%p 성공률 상승
작업당 평균 토큰 소비 142,000 토큰 58,000 토큰 59.1% 비용 절감
해결까지의 반복 턴 수 평균 7.4턴 평균 3.1턴 지연시간 58% 단축
하네스 순위 변동 모델 X에서 1위, 모델 Y에서 4위 모델 Y에서 1위, 모델 X에서 2위 단일 하네스 만능론 기각

실무 엔지니어링 가이드: 모델 평가와 하네스 평가의 분리

이 연구가 주는 실무적 교훈은 분명합니다. 새로운 LLM이 출시되었다고 해서 기존 하네스 코드에 모델 엔드포인트만 바꿔 끼운 뒤 "성능이 낮다"고 단정해서는 안 됩니다.

  1. 독립 변수로서의 하네스: 모델 벤치마크를 진행할 때는 모델뿐 아니라 하네스(도구 호출 형식, 프롬프트 엔지니어링, 에러 주입 방식)를 독립 변수로 분리하여 다변량 테스트를 수행해야 합니다.
  2. 단일 하네스 종속 탈피: 조직 내에서 여러 모델을 라우팅하여 사용하는 경우, 모델 패밀리에 맞춰 도구 디스패치 규격을 커스터마이징하는 적응형 하네스 레이어를 구축해야 합니다.
  3. 비용 효율성의 재정의: 토큰당 단가가 저렴한 모델이라도 하네스 부적합으로 인해 턴 수가 늘어나면, 단가가 높은 모델보다 최종 청구서 비용이 더 커질 수 있음을 계산해야 합니다.