10월 3일에 숫자 하나가 돌았습니다. OpenRouter 기반 a16z 데이터. 8월 agent traffic 7.3조 토큰, human traffic 1.4조 토큰. 약 5배 차이입니다. 2026년 2월에 agent가 human을 처음 넘은 뒤 격차가 벌어지고 있고, 10배를 향해 간다는 전망까지 붙었습니다.

단, 범위를 정확히 해야 합니다. OpenRouter 안에서의 traffic 비교지 전체 AI 시장 비율은 아닙니다. 그래도 방향은 분명합니다. 더 흥미로운 수는 따로 있습니다. agent token의 85% 이상이 cached prompt라는 점입니다.

85%의 의미: 에이전트는 다시 읽는 기계다

agent token 구성 (추정):
- 85%+: cached prompt (이전 대화·도구 결과·컨텍스트 재주입)
- 나머지: 새 입력 + 생성

즉 agent는 새 답을 만드는 것만큼
이미 본 것을 반복해서 읽는다

OpenRouter 공지 표현을 빌리면 에이전트는 매 턴 같은 시스템 프롬프트·도구 정의·스키마를 보냅니다. 캐시 읽기는 0.1~0.5배라 싸 보이지만, KV cache와 HBM을 차지합니다. 칩 메이커들이 2028년까지 HBM 부족이 심해진다고 보는 이유 중 하나가 여기 있습니다.

속도 글에서 토큰 수가 곧 시간이라고 했는데, 이제는 공간 문제까지 됩니다. 장시간 agent가 늘수록 Context Engineering 자체가 infrastructure 문제가 됩니다.

왜 model price만 보면 놓치나

예전 최적화: 싼 모델 고르기 (단가표 비교)
지금 최적화: 다시 읽기 줄이기 (구조 비교)

같은 작업, 다른 구조:
A: 매 턴 대화 전체 + 긴 tool log 재주입 → 캐시 90%, 그래도 느리고 무거움
B: 요약 + 변경분만 주입 → 캐시 60%, 빠르고 가벼움
→ 단가는 B가 질 수 있는데 총비용·시간은 B가 이긴다

프롬프트 캐싱 글의 계산에 한 줄이 추가됩니다. 캐시 할인이 아니라 캐시 "비중"을 보는 것입니다. 85%가 캐시라는 건, 캐시가 잘 된다는 뜻이면서 동시에 "같은 것을 85%나 다시 읽는다"는 뜻입니다.

OpenRouter가 sticky routing(같은 provider의 warm cache에 붙이기)을 강조하는 이유도 여기 있습니다. 캐시는 있어도 라우팅이 흩어지면 warm이 안 됩니다. 캐시·라우팅·관측이 한 세트입니다.

같이 재는 4개: tokens/task부터 시작

브리프의 액션을 그대로 가져옵니다.

agent 1개의 주간 기록표:
[ ] tokens/task: 작업 1건당 총 토큰 (성공 기준)
[ ] cache ratio: 캐시 읽기 비중 (85%면 평균, 그 이상이면 재주입 의심)
[ ] retries: 재시도 횟수 (재시도 1회가 전체 재주입 1회다)
[ ] success rate: 성공률 (위 3개와 함께 봐야 의미가 있음)

성공 1건당 비용에 cache ratio와 retries가 붙은 형태입니다. 특히 retries가 무섭습니다. 재시도 1회는 "지금까지의 전부"를 다시 읽는 1회와 같습니다.

CodeBridge Mini Lab: 재주입 다이어트 1주일

① 가장 긴 tool log 1개를 찾는다 (토큰 많이 먹는 것)
② 1주일만 이렇게 바꿔본다:
   - 대화 전체 재주입 → 요약 + 변경분 주입
   - 긴 tool 출력 → 필요한 부분만 잘라서 전달
   - 매 턴 도구 정의 전체 → 쓰는 것만 로드 (deferred loading)
③ 비교한다:
   [ ] tokens/task 변화
   [ ] cache ratio 변화
   [ ] success rate 변화 (떨어지면 롤백 — 싼 게 비지떡이면 안 됨)
④ 판정: 성공률 유지 + 토큰 감소면 고정, 아니면 원복

Sonnet high 글의 193k 토큰 이야기가 여기서 살아납니다. 토큰을 많이 쓰는 모델일수록 재주입 다이어트 효과가 큽니다.

결론: 읽는 것을 설계하라

한 줄로 정리합니다.

쓰는 것을 최적화하기 전에 읽는 것을 세어라.

agent 5배 시대의 최적화는 모델 고르기가 아니라 컨텍스트 설계입니다. tokens/task·cache ratio·retries·success rate 4개를 같이 재고, 긴 재주입부터 줄이세요. 캐시는 할인 수단이 아니라 인프라입니다. 인프라답게 다루는 팀이 다음 비용 파도를 넘습니다.

함께 읽으면 좋은 글

참고 자료

이 주제를 직접 따라가며 배우고 싶다면

토큰·검증·루프를 구조로 설계하는 연습이 필요하다면, 하네스·루프·그래프를 순서대로 쌓는 과정이 이 글의 4개 지표와 바로 이어집니다.