EBR : inférence 345x plus efficace pour le raisonnement

Original : Energy-Based Reasoners: 385x more efficient inference

Pourquoi c'est important

Une efficacité d'inférence radicale pourrait changer le coût des modèles raisonnants à déployer.

Des chercheurs de Duke, UIUC et Harvard présentent les Energy-Based Reasoners (EBRs) : des modèles de raisonnement récurrents à 1,8M paramètres atteignant 99,9% sur Sudoku-Extreme avec 345× moins de calcul que le meilleur concurrent.

Les modèles de raisonnement en boucle (looped models) itèrent un bloc récurrent pour simuler un raisonnement multi-étapes. Leur défaut : aucun critère explicite ne guide les mises à jour ni ne signale quand s'arrêter. Les EBRs corrigent cela en apprenant une fonction d'énergie sur les états latents. Chaque mise à jour est formulée comme une descente de gradient sur cette énergie — le score mesure la compatibilité, le gradient oriente le raffinement, et la norme du gradient sert de critère d'arrêt naturel.

Avec seulement 1,8M de paramètres, les EBRs atteignent 99,9% de précision sur Sudoku-Extreme, contre 97,9% pour Looped Flows (5–7M params) et 94,2% pour FPRM (7M params). L'avantage en calcul est frappant : les EBRs égalent les performances d'EqR avec 7× moins d'itérations et 43× moins d'échantillons. Sur N-Queens et Graph Coloring, ils affichent une couverture état-de-l'art des solutions valides distinctes, tout en maintenant une précision proche de 100% par échantillon. L'entraînement intègre une phase d'exploration pour mieux façonner le paysage énergétique. Le code et l'article arXiv sont disponibles publiquement.

Source

energy-based-reasoners.github.io — Lire l'original →