600 expériences sur JEPA : ce que ça révèle
Original : After 600 experiments, here's what I discovered about JEPA world models
Pourquoi c'est important
Montre que l'optimisation de l'inférence surpasse le réentraînement pour JEPA.
Haddy Alchaer a mené 600 expériences sur LeWM, un world model JEPA de LeCun, sans réentraîner le modèle. Résultat : le taux de réussite passe de 22 % à 85 % sur des tâches longue portée grâce à quatre nouvelles méthodes de planification.
Le débat sur les world models en IA oppose deux camps : les modèles génératifs, qui prédisent le futur en pixels, et JEPA (Joint-Embedding Predictive Architecture), défendue par Yann LeCun. JEPA encode chaque frame en vecteur compact, prédit le prochain état dans cet espace latent, puis planifie en testant des séquences d'actions sans jamais générer d'images.
Haddy Alchaer s'est concentré sur LeWM, implémentation JEPA publiée cette année avec LeCun, évaluée sur Push-T — une simulation où un robot pousse un bloc en T vers une position cible. Premier constat surprenant : remplacer le prédicteur appris par la physique parfaite du simulateur ne change presque rien (78 % vs 77 % de réussite sur 250 tâches longue portée). Le prédicteur de LeWM est déjà aussi fiable que la physique réelle sur les trajectoires connues.
Là où tout se joue, c'est dans l'utilisation de l'architecture. Sans aucun réentraînement, Alchaer a développé quatre nouvelles méthodes de planification. Les deux premières font passer le taux de succès de 22 % à 85 % — soit le niveau d'un planificateur disposant de sous-objectifs fournis par un expert. Une seule modification dans la façon de scorer le goal a suffi à gagner 60 points, trois fois plus que l'échange du prédicteur contre la physique parfaite. Les deux autres méthodes permettent d'étendre LeWM à des objectifs hors distribution, via un graphe mémoire générant des sous-objectifs à la volée.