Un LLM réécrit ses propres poids sans entraînement
Original : Language Models Can Rewrite Their Own Weights
Pourquoi c'est important
Ouvre une voie vers des modèles qui s'améliorent en production, sans pipeline d'entraînement.
Des chercheurs publient sur arXiv (nov. 2026) une méthode inédite : un modèle open-source de 27 milliards de paramètres modifie ses propres poids par raisonnement, sans gradient ni réentraînement, gagnant 6,6 points de précision.
L'approche, baptisée « self-rewriting », court-circuite la dichotomie classique entraînement/inférence. Le modèle reçoit ses propres poids, ses réponses notées et la capacité de s'exécuter lui-même. Il diagnostique ses erreurs, réécrit les poids responsables, puis teste ses modifications sur des problèmes d'entraînement avant de valider uniquement celles qui améliorent les résultats. Sur huit sessions consécutives, la précision ne fait qu'augmenter — sans jamais revoir les mêmes exemples.
L'équipe démontre également une capacité de réparation : une copie dégradée du modèle, incapable de résoudre la quasi-totalité des tâches, retrouve plus de 80 % de la précision originale sur des tâches visuelles inédites — sans réentraînement ni accès aux poids d'origine. Fait notable, la capacité est sensible à l'échelle : dans une même famille de modèles, seuls les plus grands réussissent à s'améliorer ; les plus petits échouent ou se dégradent.
Contrairement au test-time scaling, le gain est ancré dans les poids et ne coûte rien par réponse générée. Les auteurs y voient une étape vers l'auto-amélioration récursive.