AMD가 10월 12일 에이전트 AI용 랙 단위 설계 Helion을 발표했습니다. GPU 신제품 발표가 아니라 랙 설계도 발표라서 언뜻 지루해 보입니다. 그런데 내용을 뜯어보면 에이전트 시대의 인프라 상식이 바뀌고 있습니다.

Helion = 에이전트 AI용 개방형 랙 설계도 (OCP 기반)
두 가지 구성: CPU 전용 (하이퍼스케일) / CPU+GPU 혼합 (엔터프라이즈)
핵심 부품: 토큰 라우터 (모델 요청을 맞는 모델로 전달)
출시: 파트너 구성 개발 중, 2026년 11월 목표

왜 CPU 32,768개가 AI 발표에 나오나

Helion CPU 전용 랙의 숫자는 이렇습니다.

CPU: 6세대 EPYC (Zen 6 Venice, 최대 256코어)
랙당: 최대 128개 CPU → 32,768코어
용도: 에이전트 실행 전용, 추론은 별도 인프라에 연결

AI 발표에 CPU 코어 수가 주인공으로 나오는 게 낯설 수 있습니다. 이유는 에이전트의 하루 일과를 보면 분명해집니다.

에이전트의 하루:
  모델 추론 (GPU) — 생각하기
  도구 실행 (CPU) — 코드 빌드, 파일 읽기, 테스트, 검색
  작업 관리 (CPU) — 샌드박스, 세션, 네트워크, DB

생각하는 시간보다 일하는 시간이 길어지면 GPU보다 CPU가 병목이 됩니다. Meta Muse나 OpenAI Dots 같은 개인 에이전트도 사용자마다 샌드박스를 떼어주고 CPU 슬라이스를 나눠 쓰는 구조입니다. 하이퍼스케일러가 에이전트 실행용 CPU 용량을 따로 까는 이유가 여기 있습니다.

혼합 구성은 중소기업·엔터프라이즈용 답입니다.

CPU 노드 (EPYC) + GPU 노드 (Instinct MI350P 최대 16개, FP4 합산 74페타플롭스)
+ 범용 컴퓨트 (DB·스토리지·기술 컴퓨팅)
네트워킹: 랙당 최대 102Tbps
냉각: 수냉·공냉 모두 지원, 21인치 ORv3 44OU 랙

한 랙에 생각과 일과 뒷정리를 같이 넣은 올인원입니다. 기존 IT 투자를 버리지 않고 에이전트를 얹겠다는 메시지도 같은 맥락입니다.

토큰 라우터가 진짜 주인공일 수 있다

발표에서 가장 조용하지만 중요한 부품이 토큰 라우터입니다. 에이전트의 모델 호출을 프론티어 모델과 오픈소스 모델 사이에서 골라 보내는 장치입니다.

쉬운 요청 → 랙 안 오픈 모델 (싸고 빠르고 데이터가 안 나감)
어려운 요청 → 외부 프론티어 모델 (비싸지만 capable)

매 호출이 비용·지연·거버넌스 결정이라는 점에서, 라우터는 돈이 새는 수도꼭지에 붙은 손잡이입니다. 에이전트가 늘면 사용자 수보다 토큰량이 훨씬 빨리 불어나니 이 손잡이의 가치가 커집니다.

다만 아직은 선언에 가깝습니다. 라우팅 정책, 지연 오버헤드, 기존 AI 게이트웨이와의 궁합 같은 디테일은 공개되지 않았습니다. 하이퍼스케일러는 자기 컨트롤 플레인을 선호하기도 합니다. 11월 파트너 구성이 나와야 실체가 보입니다.

개방형이라는 말의 내용도 구체적입니다.

ORv3 (랙·버스바), DC-MHS (호스트 모듈), DC-SCM (관리·보안),
HPRv2 (전원), OCP NIC 3.0 (네트워킹), Caliptra (실리콘 신뢰점)
→ AMD가 OCP에 기여 예정, OEM·ODM이 실제 판매

파트너 명단에는 Cisco, Dell, HPE, Lenovo, Supermicro 등이 올라 있습니다. AMD가 직접 랙을 파는 게 아니라 설계도를 풀고 생태계가 파는 구조입니다. 전작 Helios가 훈련·추론용이었다면 Helion은 에이전트 실행을 별도 티어로 제품화한 첫 시도라는 평가가 나옵니다.

CodeBridge Mini Lab: 우리 에이전트 비용을 쪼개보기

브리핑의 액션을 그대로 옮기면 이렇습니다. GPU 사용률만 보지 말고 CPU와 함께 보세요.

① 에이전트 작업 10건을 고른다
② 작업당 다음을 분리해 기록한다:

   [ ] GPU 시간·토큰 비용 (추론)
   [ ] CPU 시간·코어 사용 (도구 실행·샌드박스)
   [ ] 네트워크·스토리지 (세션·DB·아티팩트)
   [ ] 작업당 총비용과 성공 여부
③ 성공 1건당 CPU:GPU 비용 비율을 계산한다

이 표가 나오면 Helion의 메시지가 체감됩니다. 도구 호출이 많은 에이전트는 CPU 비중이 생각보다 큽니다. 그때 선택지는 세 가지입니다.

- 쉬운 호출을 작은 모델·로컬로 내리기 (라우팅)
- 캐시·재시도 정책 손보기 (호출 수 줄이기)
- 실행과 추론 인프라 분리 여부 검토 (스케일 전략)

라우터가 없어도 지금 할 수 있는 건 첫 번째와 두 번째입니다. AI 모델 라우팅 구현 글과 성공 1건당 비용 글이 바로 그 연습입니다.

결론: 랙을 모델이 아니라 일감으로 봐야 한다

Helion이 던지는 질문은 하나입니다.

우리 에이전트는 생각보다 일하는 데 돈을 쓰는가?

GPU 숫자만 보던 인프라 평가에 CPU·네트워크·라우팅이 끼어들었습니다. 11월 파트너 구성이 나오면 실제 CPU:GPU 비율 데이터가 나올 겁니다. 그 전에 내 에이전트의 작업당 비용을 쪼개보는 팀이 먼저 움직입니다.

함께 읽으면 좋은 글

참고 자료

이 주제를 직접 따라가며 배우고 싶다면

검색 품질·토큰 비용·지연 시간을 함께 설계하는 연습이 이 글의 비용 쪼개기와 바로 이어집니다. 인프라를 사기 전에 구조를 이해하는 것부터 시작해 보세요.