다른 모달리티로 학습한 모델이 같은 세계 표현으로 수렴하는가. 이 질문은 AI의 핵심이지만, 가설 상태에서는 보장도 recipe도 없습니다. Balestriero & LeCun은 2026년 10월 29일 arXiv:2610.39302를 통해 플라톤 표현 가설(PRH, Platonic Representation Hypothesis)을 명제에서 정리로 바꾸는 증명을 제시했습니다. 이 글은 논문을 읽고, PRH가 무엇이며 JEPA가 어떻게 그것을 정리로 바꾸는지, 그리고 이전 작업과 비교하여 새로 추가하는 내용은 무엇인지 따라갑니다. 이 글은 논문의 모든 수식을 번역한 것이 아니라, 증명 구조와 핵심 아이디어만 다룹니다.
플라톤 표현 가설(PRH)이 묻는 것
PRH는 다음과 같이 요약할 수 있습니다. "스케일업할 때, 다른 모달리티(이미지·텍스트·음성 등)로 학습한 모델이 같은 표현 공간으로 수렴한다."
이미지: 플라톤 표현 가설 개념도.
이 가설이 의미하는 것은, 만약 PRH가 맞다면 여러 모달리티를 통합하는 것이 단순해집니다. 각 모달리티별 모델을 따로 학습할 필요 없이, 스케일업하면 자동으로 같은 표현으로 수렴하기 때문입니다. 하지만 가설 상태에서는 두 가지 문제가 있습니다.
첫째, 보장 부재입니다. 실험적으로 관찰될 뿐, 수학적 garanty가 없습니다. 스케일업해도 수렴하지 않는 반례가 있을 수 있습니다.
둘째, recipe 부재입니다. PRH가 맞다고 해서 어떻게 학습해야 하는지 알려주지 않습니다.
JEPA의 증명 구조
Balestriero & LeCun의 증명은 세 단계로 나눌 수 있습니다.
단계 1: PRH를 명제에서 정리로 전환. 이전 연구에서는 PRH를 경험적으로 관찰하는 가설로 다뤘습니다. 이 논문은 PRH를 수학적 명제로 형식화하고, 스케일업 조건에서 수렴을 보장하는 정리를 증명합니다.
단계 2: JEPAs의 개선. 기존 JEPA(Joint Embedding Predictive AI)는 예측 오차를 최소화하는 방식이었습니다. 이 논문은 JEPAs를 개선하여, 표현의 안정성을 높이고 수렴 속도를 빠르게 하는 방법을 제시합니다.
단계 3: 실험 검증. 이론적 증명이 실제 학습에서 어떻게 나타나는지, 여러 모달리티로 실험하여 검증합니다.
증명 구조를 다시 쓰기
논문의 수식을 그대로 옮기는 대신, 증명 구조를 단계별로 다시 씁니다.
정의 1 (표현 공간). 각 모달리티 M_i에 대해, 표현 함수 f_i: X_i → R^d를 정의합니다. 여기서 X_i는 모달리티 i의 입력 공간, d는 표현 차원입니다.
정의 2 (일치성). 두 모달리티 M_i, M_j의 표현 f_i(x_i), f_j(x_j)가 "일치"한다는 것은, 동일한 세계 상태를 나타내는 샘플 쌍 (x_i, x_j)에 대해 ||f_i(x_i) - f_j(x_j)|| < ε를 만족합니다.
정리 (PRH). 스케일업 조건 N → ∞에서, 모든 모달리티 쌍 (M_i, M_j)에 대해 일치성 정의가 성립합니다. 즉, lim_{N→∞} ||f_i(x_i) - f_j(x_j)|| = 0.
증명 아이디어. JEPA의 예측 메커니즘은 서로 다른 모달리티 간에 공통된 구조를 추출하도록 강제합니다. 스케일업하면 표현 차원 d가 충분히 커지고, 예측 오차가 0에 수렴합니다. 이 과정에서 서로 다른 모달리티의 표현이 같은 공간으로 수렴하게 됩니다.
LeCun의 이전 작업과 비교하여 새로 추가하는 것
LeCun은 JEPA를 이전에 제안한 바 있습니다. 이 논문이 새로 추가하는 것은 다음과 같습니다.
| 이전 JEPA | arXiv:2610.39302 (JEPA 증명) |
|---|---|
| 경험적 관찰: 다른 모달리티가 비슷한 표현으로 수렴하는 것을 관찰 | 명제에서 정리로 전환: 수학적 보장 제공 |
| 예측 오차 최소화: 표현의 품질을 측정하는 지표로 사용 | 표현 안정성 개선: 수렴 속도와 안정성을 함께 개선 |
| 단일 모달리티 실험: 이미지나 텍스트 등 단일 모달리티로 검증 | 다중 모달리티 검증: 여러 모달리티 간 수렴을 실험적으로 확인 |
| heuristic적 하이퍼파라미터: 경험에 기반한 설정 | 이론적 bound: 스케일업 조건에서의 수렴 보장 |
실험 결과에서 읽을 수 있는 것
논문의 실험 결과는 다음과 같은 점을 보여줍니다.
- 수렴 속도: 개선된 JEPAs가 기존 JEPA보다 더 빠르게 수렴합니다.
- 표현 품질: 다른 모달리티 간 표현 일치도가 높아집니다.
- 스케일업 효과: 모델 크기가 커질수록 수렴이 더 명확하게 나타납니다.
하지만 실험 결과는 다음과 같은 제약도 보입니다.
- 계산 비용: 증명이 이론적으로 보장되더라도, 실제 학습에 필요한 계산량이 많습니다.
- 모달리티 제한: 실험에 사용된 모달리티 유형이 제한적입니다.
- 작은 규모: 이론적 bound는 N → ∞ 조건에서 성립하지만, 실제 학습 규모는 유한합니다.
도입 전에 남는 제약
이 글에서 측정한 것은 논문의 증명 구조와 핵심 아이디어입니다. 수식의 모든 단계를 검증한 것이 아니므로, 실제 적용 전에 논문의 전체 내용을 읽어야 합니다. 또한 실험 결과는 특정 모달리티와 데이터셋에 의존하므로, 다른 도메인에 적용할 때는 재검증이 필요합니다.
JEPA가 제공하는 것은 가설이 아닌 정리입니다. 하지만 정리가 실제 시스템에서 어떻게 나타나는지는 실험 결과에 의존합니다. 계산 비용, 모달리티 제한, 작은 규모 효과는 이 글에서 측정하지 않았습니다.
JEPA에서 배울 점은 수식의 모든 단계가 아닙니다. 다른 모달리티로 학습한 모델이 같은 표현으로 수렴한다는 아이디어를, 가설에서 정리로 바꾸는 구조입니다. 다음에 여러 모달리티를 통합할 때는 스케일업 조건과 수렴 보장을 먼저 확인해 보시길 권합니다.
아래 유료 강의는 Decision AI의 판단 모델과 Human-in-the-Loop 설계를 다룹니다. JEPA 자체의 사용법이나 이 실험의 재현을 제공하는 강의는 아니며, 링크는 홍보 링크입니다.