Un LLM modifie les poids de Qwen sans entraînement
Original : Astra can read and write weights to improve Qwen
Pourquoi c'est important
Le raisonnement LLM pourrait supplanter les optimiseurs classiques pour éditer les poids.
Des chercheurs du MIT CSAIL montrent que GPT-6 Astra lit et réécrit des poids de réseaux de neurones en langage naturel, améliorant Qwen3.5-0.8B de 7,9 % à 48,1 % sur MATH-500 en modifiant 0,016 % des poids.
Une équipe du MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab) publie le 2 novembre 2026 une étude intitulée « Sparks of Weight-Space Programming ». Le constat central : les LLM de pointe, dont GPT-6 Astra, sont capables de lire et d'écrire nativement des poids de réseaux de neurones, sans boucle d'entraînement, sans gradient, et sans retour de l'environnement.
Sur Qwen3.5-0.8B, Astra identifie une anomalie dans les poids à l'origine de boucles de raisonnement — un problème déjà signalé dans la fiche officielle du modèle. En corrigeant seulement 0,016 % des poids directement dans un kernel Python, le score sur MATH-500 passe de 7,9 % à 48,1 %. L'effet se généralise : IFEval (suivi d'instructions) est multiplié par 3, sans ajustement supplémentaire.
Autre démonstration frappante : Astra parvient à prédire, avec 99 % de confiance, le jeu pour lequel un réseau a été entraîné, uniquement en lisant ses 17 253 poids bruts. Il rédige également, sans feedback, de petits réseaux jouant à des jeux vidéo qui surpassent des politiques entraînées avec PPO pendant 100 millions de pas.
Les chercheurs nomment cette approche « Weight-Space Programming » et y voient une rupture avec les optimiseurs symboliques classiques comme Adam ou Muon, qui encodent des biais inductifs simplistes.