"이미지 모델을 2만 달러대에 학습했다"는 문장은 인상적이지만, 읽는 방법이 중요합니다. Linum은 2026년 11월 4일 2B 텍스트-이미지 모델 P-JiT 21K를 코드와 가중치와 함께 공개했습니다(Apache-2.0). 이 글은 비용 숫자의 내역, 품질이 어떻게 보고되었는지, 그리고 이 숫자를 다른 곳에 가져다 쓸 때 주의할 점을 다룹니다.

비용의 내역

Linum의 글에 따르면 총 $21,038입니다.

단계 H100 시간 비용
사전 학습 8,139 $20,348
후속 학습(post-training) 276 $690
합계 8,415 $21,038

시간당 단가는 $2.50이며, 사전 학습은 64개의 H100으로 512px 6.1억 샘플 후 1024px 5천만 샘플(총 6.6억)을 학습했고 재시작 비용을 포함합니다. 계산은 맞습니다. 8,415 × $2.5 = $21,037.5입니다.

모델 카드(Hugging Face)에는 "약 $21K"로만 적혀 있고 GPU 시간은 없습니다. 상세 내역은 Linum의 블로그 글에 있으므로, 인용하려면 거기를 출처로 삼아야 합니다.

무엇이 비용에 들어가지 않았나

글은 무엇을 제외했는지 밝히지 않습니다. 같은 구조를 새로 만들려면 아래는 따로 계산해야 합니다. 이 목록은 제가 정리한 점검표이며 Linum이 제외했다고 밝힌 항목이 아닙니다.

  • 데이터 수집·필터링·캡션 비용
  • 구조 선택을 위한 사전 실험과 하이퍼파라미터 탐색(재시작 외 실패한 실험)
  • 평가용 사람의 시간
  • 인건비

품질은 어떻게 보고됐나

글이 보고하는 정량 지표는 고정된 20,480장 정사각형 이미지에 대한 검증 손실뿐입니다. GenEval 같은 벤치마크 점수는 없고, 품질은 샘플 갤러리로 보여 줍니다. 그래서 "비용 대비 얼마나 좋은가"는 이 글만으로는 판단할 수 없습니다. 다른 모델과 같은 프롬프트로 나란히 비교하려면 직접 생성해 봐야 합니다.

스스로 밝힌 한계

  • 학습 데이터에서 글자가 렌더링된 이미지를 걸러 냈기 때문에 텍스트나 포스터를 만들 수 없습니다.
  • 2B DiT와 4B 텍스트 인코더의 작은 모델이라 전신, 여러 객체, 여러 사람의 상호작용, 세계 지식에 약합니다.
  • 저자들은 더 큰 모델(예: 7B)과 더 많은 후속 학습이 도움이 될 것이라고 봅니다.

왜 영상 이야기가 나오나

저자들은 이 실험을 다음 영상 모델로 가는 개념 검증이라고 설명합니다. Pyramid-JiT 구조를 더 오래 학습해도 잘 동작하는지 확인한 것입니다. 영상 학습은 어텐션 비용(O(n²))이 병목이라서 같은 구조의 효율이 중요하다는 것이 동기입니다. 영상 모델의 결과는 아직 없으므로 지금은 가설 단계입니다.

실무 판단

  • 이미지 서비스에 쓸 모델을 고른다면 지금의 한계(글자, 군중, 전신) 때문에 용도가 좁습니다. 제품에는 맞지 않을 수 있습니다.
  • 연구·교육용으로 보면 "작은 예산으로 처음부터 학습해 본 기록"이라는 가치가 큽니다. 코드와 가중치가 열려 있어 재현을 시도할 수 있습니다.
  • 학습비를 비교할 때는 GPU 사용료만 보지 말고 위 점검표 항목을 같이 적으세요. 같은 $21K라도 포함 범위가 다르면 비교가 의미가 없습니다.

생성 AI로 글·이미지·영상 콘텐츠를 만드는 흐름 자체가 궁금하다면 아래 강의와 연결됩니다. 결과를 비교할 때의 기본 태도는 AI 벤치마크 점수만 보면 틀릴 수 있다에서도 다뤘습니다.

결론

P-JiT 21K의 의미는 "싸게 만들었다"보다 "공개된 내역으로 검증할 수 있다"에 있습니다. 그러나 비용 숫자는 GPU 대여비이며, 품질은 정량 벤치마크가 아니라 검증 손실과 갤러리로 제시됐습니다. 인용할 때는 포함 범위를 함께 쓰세요.

참고