Strands Decider의 티켓 비용 98% 절감: 모델보다 먼저 볼 평가 조건

티켓마다 20개 범주 중 하나를 고르는데 설명문까지 생성하고 있다면, 생성 비용을 분리해 볼 만하다. Amazon 엔지니어들은 Sonnet 4.6을 Strands Decider E4B로 교체해 티켓당 비용을 $0.0222에서 약 $0.0005로 줄였다고 보고했다. 다만 모델만 바꾼 실험은 아니다.

11월 9일 공식 사례의 ‘What we measured’와 ‘What it costs’는 측정 지연시간과 정가 기반 비용 추정을 구분한다. 아래 수치는 회사 자체 결과이며 독립 재현은 하지 않았다.

선택지를 점수로 바꾸는 경로

기존 Sonnet 경로는 긴 시스템 프롬프트를 읽고 JSON과 추론을 생성했다. Decider는 상태, 질문, 선택지를 받아 각 선택지의 확률과 신뢰도를 반환한다. 팀은 2B 모델을 먼저 시험한 뒤 별도 티켓 집합에서 더 나았다고 보고한 E4B Gemma 4 빌드로 옮겼다. 이 사례를 기존 Decider 2B 소개의 모델과 혼동해서는 안 된다.

전환 과정에서 20개 라벨 설명을 한두 문장으로 줄이고 ‘none’을 추가했다. 4,096토큰 창에 맞추려고 긴 티켓의 오래된 댓글도 제거했다. 따라서 품질 비교의 단위는 모델 이름이 아니라 모델·라벨 정의·문맥 전처리를 묶은 파이프라인이다. 초기 댓글에 해결 단서가 있는 티켓은 별도 평가군으로 남겨야 한다.

비용 표에는 가동률이 숨어 있다

원문은 Bedrock 글로벌 엔드포인트와 SageMaker ml.g5.xlarge를 비교한다. 비용은 us-east-1 공개 온디맨드 가격을 사용하고 Lambda 비용을 제외한다. A10G 한 장, 24GB 인스턴스의 가격은 시간당 $1.408이며, 팀은 요청당 약 640ms와 버스트 대응 여유를 비용 산정에 반영했다. 이 640ms는 표의 평균 호출 시간 897ms와 다른 관측 범위이므로 섞어 쓰지 않아야 한다.

편집상 계산으로, 시간당 처리량을 q라 하면 인스턴스 비용만의 티켓당 비용은 1.408/q 달러다. 약 $0.0005에 도달하려면 가동 인스턴스 시간당 약 2,816건이 필요하다. 트래픽이 드문 팀은 같은 GPU를 유지하면서 이 단가를 얻기 어렵다. 98%는 모든 분류 업무의 보장 절감률이 아니다.

확률이 같아도 운영 정책은 다를 수 있다

팀은 라벨 적용에 필요한 신뢰도 임계값을 조정했다. 임계값을 높이면 자동 분류되는 비율이 줄 수 있다. 원문에는 구체적인 정확도, 평가 표본 수, 임계값이 없어 품질 동등성을 독자가 다시 계산할 수 없다. 자동 처리율과 오분류 비용을 함께 기록해야 비용 절감이 단순한 수동 검토 증가인지 구분할 수 있다.

JSON 키 순서만 바꿔도 확률이 최대 0.19 움직였다는 보고도 있다. 팀은 요청 키를 정렬했다. 재평가 때는 모델 버전뿐 아니라 직렬화 순서, 라벨 문구, 잘라낸 문맥을 고정해야 한다.

도입의 핵심은 되돌릴 수 있는 비교다

공식 구성의 BEDROCK 모드는 Sonnet만 호출한다. DUAL은 두 모델을 병렬 호출하되 기존 Sonnet 결과만 적용하고, DECIDER는 새 모델만 사용한다. 이 구조라면 불일치 사례를 검토한 뒤 전환할 수 있다. DUAL 기간에는 두 경로의 비용이 모두 발생한다.

고정된 분류 체계, 충분한 처리량, 짧은 입력을 가진 팀이라면 이 비교를 시도할 근거가 있다. 설명문이 필수이거나 라벨이 자주 바뀌는 업무라면 생성 모델 또는 단순한 기존 분류기도 함께 비교하는 편이 합리적이다. 판단 기준은 호출 단가보다 검토 인건비와 누락을 포함한 최종 처리 비용이다.