Mistral Large 4의 가중치를 내려받을 수 있게 됐습니다. 이제 도입 질문은 응답 품질에 더해, 전체 expert를 어디에 올리고 어느 이용률로 운영할 것인가까지 넓어집니다. 토큰당 활성 파라미터 약 52B만으로 GPU 메모리를 계산하면 예산부터 틀어집니다.

이 글은 10월 6일 프리뷰 글을 10월 29일 공개 가중치 기준으로 갱신했습니다. 프리뷰 발표와 가중치 공개 발표는 서로 다른 체크포인트를 다룹니다. 모델 추론이나 GPU 벤치마크는 실행하지 않았고, 아래에서 실행한 것은 비용 산술뿐입니다.

활성 계산량과 보관할 가중치는 다른 예산이다

공개 모델 카드는 약 1T 규모의 MoE이며 토큰당 49B, 임베딩과 출력층을 포함하면 52B가 활성화된다고 설명합니다. 두 숫자는 집계 범위가 다릅니다. 52B를 전체 배포 크기로 읽어서는 안 됩니다.

라우터가 특정 토큰에 일부 expert만 선택해도 다음 토큰은 다른 expert를 요구할 수 있습니다. 전체 가중치를 GPU에 상주시킨다면 전체 크기를 감당해야 합니다. CPU나 다른 장치로 일부를 내리면 GPU 공간을 줄일 수 있지만, 전송 대기와 배치 처리 조건을 따로 평가해야 합니다. 활성량은 연산량을 이해하는 단서이며 지연시간을 단독으로 결정하는 숫자가 아닙니다.

다음은 1조 개의 가중치라고 반올림한 계획용 하한입니다. GB는 십진 단위이며 실제 파일 크기나 지원 배포 구성의 측정치가 아닙니다.

가정한 저장 정밀도 가중치만 필요한 공간 80GB로 나눈 올림값
2 bytes/weight 2,000GB 25
1 byte/weight 1,000GB 13
0.5 byte/weight 500GB 7

마지막 열은 실행 가능한 GPU 대수가 아닙니다. 양자화 스케일, 고정밀도로 남기는 층, KV cache, 임시 버퍼, 프레임워크와 병렬화 제약을 모두 뺐습니다. 4비트라는 이름만으로 모든 텐서가 정확히 반 바이트에 들어가는 것도 아닙니다. 모델 카드의 FP8·NVFP4 배포 설명과 실제 하드웨어 지원을 확인한 다음 여유 공간을 더해야 합니다.

싼 토큰과 싼 성공은 일치하지 않을 수 있다

10월 29일 공식 가격 문서에는 입력·출력 100만 토큰당 각각 $0.70·$2.10, 캐시 입력 $0.07이 표시됩니다. 과거 프리뷰 할인가와 섞지 말고 견적 시점의 가격을 저장하세요.

아래는 Node.js 18 이상에서 파일로 저장해 node budget.mjs로 실행할 수 있는 자체 계산 예제입니다. 입력은 작업당 입력 20,000·출력 2,000토큰, 캐시 없음, 월 호스팅 총예산 $10,000, 월 100,000번 시도, 성공률 80%라는 가상 조건입니다. API·GPU 호출은 없습니다.

const inputTokens = 20_000, outputTokens = 2_000;
const apiPerAttempt = (inputTokens * 0.70 + outputTokens * 2.10) / 1e6;
const monthlyHosting = 10_000;
const attempts = 100_000;
console.log(`API per attempt: $${apiPerAttempt.toFixed(4)}`);
console.log(`API at 80% success: $${(apiPerAttempt / 0.8).toFixed(5)} per success`);
console.log(`Hosting at 80% success: $${(monthlyHosting / (attempts * 0.8)).toFixed(3)} per success`);
console.log(`Equal-cost attempts: ${Math.ceil(monthlyHosting / apiPerAttempt)}`);

로컬 실행 결과:

API per attempt: $0.0182
API at 80% success: $0.02275 per success
Hosting at 80% success: $0.125 per success
Equal-cost attempts: 549451

같은 성공률·토큰량을 가정하면 월 약 55만 번의 시도에서 두 총비용이 만납니다. 호스팅이 그 처리량과 지연시간 목표를 감당할 수 있다는 보장은 없습니다. 실제 비교에서는 재시도의 토큰, 캐시 적중, 외부 도구 비용, 운영 인력과 장애 대응을 추가하고, 배포별 성공률을 각각 넣어야 합니다. 실패한 실행에도 비용이 듭니다.

개선된 모델을 검증하려면 평가 조건도 고정해야 한다

Artificial Analysis의 별도 평가 페이지는 high 설정의 Intelligence Index v5.0 점수를 26으로 표시합니다. 평가 기관의 결과를 확인한 것이며 CodeBridge가 재현한 수치는 아닙니다. 종합 지수와 우리 저장소의 수정 성공률은 별개의 지표입니다.

실제 도입에는 테스트 결과를 아는 이슈 묶음이 더 직접적인 판단 자료가 됩니다. 예를 들어 공개할 수 있는 20개 작업을 골라 프리뷰와 공개 체크포인트를 같은 도구·시간 제한·하네스에서 비교하세요. 이는 제안하는 평가 설계이며 수행 결과가 아닙니다.

고정·기록할 조건 놓치면 생기는 오해
체크포인트 revision, 추론 엔진·양자화 같은 모델명이라도 실행물이 달라짐
reasoning effort와 최대 출력 적게 생각한 비용을 같은 품질로 오인
테스트 통과와 사람의 diff 검토 문법상 성공을 배포 가능한 수정으로 오인
p50·p95 시간, 동시 요청 수 빈 서버의 속도를 운영 처리량으로 오인
실패 포함 총비용 / 승인된 성공 수 낮은 토큰 단가가 재시도 비용을 가림

20개는 도입 전 오류를 찾는 작은 표본이지 모델 순위를 확정할 통계적 근거는 아닙니다. 성공 수와 실패 사례를 함께 남겨야 합니다.

공개 가중치의 다음 관문은 라이선스와 운영이다

배포된 라이선스는 Mistral Ecosystem Open-Weight License입니다. 내부 사용에 관한 예외가 있지만, Model-as-a-Service 사업자에게는 별도 상업 계약 조건이 있습니다. 일반 MIT와 동일하다고 적거나 “상업 이용 전부 무제한”이라고 요약할 수 없습니다. 사업자·계열사·제공 형태에 대한 원문 조건을 실제 서비스와 대조해야 합니다.

가중치를 소유하면 데이터 경로와 수정 권한에 대한 선택지가 생깁니다. 작은 요청량의 팀에는 API가 합리적일 수 있고, 외부 전송을 제한해야 하거나 높은 이용률을 유지하는 조직에는 자체 배포를 검토할 이유가 있습니다. 판단 순서는 전체 가중치의 메모리 예산, 실제 작업의 성공당 비용, 제공 형태의 라이선스 조건입니다. 셋을 통과한 뒤에야 공개 가중치가 우리 팀의 운영상 이점인지 말할 수 있습니다.

관련 개념은 MoE의 활성 파라미터와 성공당 비용에서 더 설명합니다.

작업의 성공 기준과 도구 실행을 하네스로 묶는 연습에는 아래 공개 유료 강의가 연결됩니다. Mistral GPU 서빙 전용 과정은 아니며, 마지막 강의 링크는 홍보 링크입니다.