Qwen 3.8 27B lit des poids de réseaux de neurones
Original : Qwen 3.8 27B on my laptop can interpret model weights, too
Pourquoi c'est important
Comprendre les poids sans exécution ouvre une voie inédite vers l'interprétabilité automatique des modèles.
Simon Willison teste localement Qwen 3.8 27B sur un exemple du papier « Sparks of Weight-Space Programming » : le modèle identifie correctement le jeu Atari appris par un réseau, sans exécuter de code.
Le papier « Sparks of Weight-Space Programming » de Takehi, Teoh, Zhang et Khattab a fait parler de lui cette semaine. Les auteurs montrent que GPT-6 Astra peut lire et modifier des poids bruts de réseaux de neurones — de simples listes de flottants — pour en déduire le comportement du modèle, voire l'améliorer. Exemple frappant : sans gradient ni boucle d'entraînement, Astra aurait corrigé 0,016 % des poids de Qwen3.5-0.8B, faisant passer son score MATH-500 de 7,9 % à 48,1 %.
Simon Willison s'est concentré sur la partie la plus sobre du papier : donner les poids d'un réseau entraîné à jouer à un jeu Atari (Breakout, Pong, Pac-Man ou Freeway) et demander au LLM, sans outil, sans exécution de code, quel jeu il visait. Les prompts sont publics sur GitHub. Willison les a soumis à Qwen 3.8 27B via son outil CLI `llm` — et le modèle a répondu correctement.
Des voix critiques tempèrent l'enthousiasme. Matthew Honnibal (auteur de spaCy) juge le papier trompeur car il mélange deux capacités très différentes : la lecture pure de poids et l'écriture de code d'optimisation. Sean Goedecke estime que l'amélioration de Qwen3.5-0.8B suit simplement les étapes qu'un chercheur humain aurait appliquées. Willison reconnaît cette distinction et choisit de n'évaluer que la question sans outils, qu'il juge plus intéressante.