AI agent가 얼마나 발전했는지 설명할 때 벤치마크 65점보다 더 직관적인 질문이 있습니다.
사람이 30분, 2시간, 8시간 걸리는 일을 AI agent는 어느 정도까지 혼자 끝낼 수 있을까?
METR의 Task-Completion Time Horizon은 이 질문에 접근하는 지표입니다.
Time Horizon은 '연속 실행 가능 시간'이 아닙니다
먼저 가장 중요한 오해부터 정리해야 합니다.
50% time horizon이 2시간이라고 해서 AI가 2시간 동안 멈추지 않고 실행된다는 뜻이 아닙니다.
METR은 각 task를 인간 전문가가 완료하는 데 걸리는 시간으로 분류한 뒤, agent의 성공 확률과 연결합니다.
50% time horizon은 대략:
인간 전문가가 그 정도 시간이 걸리는 task에서 agent가 50% 성공할 것으로 추정되는 지점
입니다.
80% horizon은 같은 방식으로 더 높은 신뢰성을 요구합니다.
왜 시간으로 표현할까요?
task 난이도를 한 숫자로 정하는 것은 어렵습니다.
버그 한 줄 수정
vs
라이브러리 기능 구현
vs
여러 파일을 조사해 시스템 문제 해결
모두 코딩 task지만 복잡도가 다릅니다.
사람 전문가에게 걸리는 시간을 proxy로 사용하면 "점점 더 긴 작업을 처리할 수 있는가"라는 방향을 볼 수 있습니다.
50%와 80%는 완전히 다른 운영 기준입니다
50% 성공은 연구 추세를 보는 데 의미가 있지만 실제 서비스 자동화에서는 부족할 수 있습니다.
50% success
→ 두 번 중 한 번 실패
80% success
→ 다섯 번 중 한 번 실패
결제, 배포, 데이터 삭제처럼 실패 비용이 큰 작업은 80%도 충분하지 않을 수 있습니다.
따라서 time horizon을 읽을 때는 시간뿐 아니라 요구 신뢰도를 같이 봐야 합니다.
CodeBridge Mini Lab: 내 업무의 'Human Time'을 적어보기
내가 AI에게 맡기는 작업 10개를 적고, 내가 직접 하면 얼마나 걸리는지 기록해봅니다.
task,human_minutes,agent_success
rename_api_field,15,1
fix_small_test,25,1
investigate_memory_leak,180,0
write_release_note,40,1
그다음 작업 시간이 길어질수록 실패율이 어떻게 바뀌는지 봅니다.
이 실험의 목적은 METR 수치를 그대로 재현하는 것이 아닙니다. 내 업무에서 agent autonomy의 경계가 어디인지 찾는 것입니다.
긴 작업에서 실패하는 이유는 '지능'만이 아닙니다
장시간 task는 단계가 많기 때문에 작은 오류가 누적됩니다.
잘못된 가정
→ 잘못된 파일 수정
→ 테스트 해석 오류
→ 다음 단계도 잘못 진행
그래서 긴 작업일수록 모델뿐 아니라 다음이 중요해집니다.
- progress tracking
- context 관리
- test/verification
- checkpoint
- retry
- human approval
즉 time horizon은 자연스럽게 harness 문제와 연결됩니다.
Time Horizon을 과장해서 읽지 마세요
METR은 현재 주로 소프트웨어 관련 task를 포함한 평가로 time horizon을 측정합니다. 모든 직업과 모든 현실 업무를 대표하는 지표가 아닙니다.
또 새로운 모델이 나온 직후 항상 즉시 측정되는 것도 아닙니다. METR도 공개 모델 중 일부는 측정이 늦거나 생략될 수 있다고 명시합니다.
따라서 "AI가 이제 인간의 N시간 업무를 대체한다"처럼 일반화하면 안 됩니다.
더 정확한 표현은:
특정 평가 task distribution에서, 특정 성공 확률 기준으로 더 긴 작업을 처리하는 추세가 관측된다.
입니다.
결론: Agent의 진짜 진전은 '한 번의 답'보다 '더 긴 작업'에서 보입니다
짧은 질문에서 모델 차이는 점점 작아질 수 있습니다. 하지만 실제 업무는 여러 단계를 이어가야 합니다.
그래서 앞으로 agent를 볼 때는 "정답률이 몇 점인가"와 함께 이런 질문을 해볼 만합니다.
어느 길이의 작업까지 안정적으로 맡길 수 있는가?
그리고 그 경계가 보이면, 그보다 긴 작업은 사람이 중간 checkpoint를 넣어 설계하면 됩니다.