JEPA 월드 모델, 600번 실험으로 밝혀낸 것들
원제: After 600 experiments, here's what I discovered about JEPA world models
왜 중요한가
모델 재학습 없이 플래닝 방식 개선만으로 성능을 대폭 끌어올릴 수 있다는 점은 JEPA 기반 로봇·계획 AI 연구 방향에 실질적인 시사점을 준다.
AI 연구자 Haddy Alchaer가 2026년 11월, JEPA 기반 월드 모델 LeWM을 대상으로 600회 실험을 진행한 결과를 공개했다. 추가 학습 없이 장기 계획 성공률을 22%에서 85%로 끌어올리는 4가지 새로운 플래닝 방법을 발견했으며, 단일 변경 하나만으로 성공률이 60%포인트 상승하는 사례도 확인됐다.
현재 AI 연구계에서는 월드 모델의 방향성을 두고 논쟁이 진행 중이다. 픽셀 단위로 미래를 생성하는 생성형 월드 모델이 주목받고 있지만, Yann LeCun을 비롯한 연구자들은 행동 결정에 불필요한 픽셀 예측에 자원을 낭비한다고 비판한다. 그 대안으로 제시된 것이 JEPA(Joint-Embedding Predictive Architecture)다. JEPA는 인코더, 예측기, 플래너 세 부분으로 구성되며, 관측 프레임을 임베딩 벡터로 압축한 뒤 임베딩 공간에서 계획을 수립한다.
LeCun 팀이 올해 공개한 LeWM은 로봇이 T자형 블록을 목표 위치로 밀어 넣는 시뮬레이션 'Push-T'를 주요 벤치마크로 사용한다. Alchaer는 이 모델을 대상으로 600회 실험을 수행했다.
핵심 발견은 다음과 같다. 먼저 LeWM의 예측기를 시뮬레이터의 완벽한 물리 엔진으로 교체해도 성공률은 78% 대 77%로 거의 차이가 없었다. 즉, 학습된 예측기의 품질 자체는 이미 충분한 수준이다. 문제는 아키텍처 활용 방식에 있었다.
목표가 75스텝 앞에 있는 장기 계획 과제에서 기본 LeWM의 성공률은 22%에 불과했지만, 25스텝 간격의 서브골 분할 등 새로운 플래닝 기법 두 가지를 조합하자 성공률이 85%까지 올랐다. 이는 전문가 시연에서 추출한 이상적인 서브골을 직접 제공했을 때의 성능에 근접한다. 추가 학습은 전혀 없었다. 나머지 두 가지 방법은 분포 외 목표 처리를 가능하게 하며, 그중 골 채점 방식만 변경한 단일 수정이 성공률을 60%포인트 높였다. 이는 완벽한 물리 엔진으로 교체했을 때 효과의 세 배에 달한다.