Les réseaux de neurones sont déjà lisibles
Original : Neural networks are clean
Pourquoi c'est important
Remettre en cause la superposition redéfinit toute la stratégie d'interprétabilité des LLM.
Goodfire publie une hypothèse de travail : la polysémantique des réseaux de neurones proviendrait d'erreurs architecturales corrigibles, non de la superposition. 99-100 % des neurones de la dernière couche d'InceptionV1 seraient interprétables.
Nick Cammarata, chercheur chez Goodfire, publie un essai de 65 minutes remettant en cause l'un des dogmes de l'interprétabilité mécaniste : la superposition. Selon ce principe, quand un réseau manque de neurones, il empilement des concepts sans lien dans les mêmes unités — créant des « nœuds » impossibles à déchiffrer sans un second modèle de décomposition, comme un sparse autoencoder.
Cammarata soutient que les preuves canoniques, notamment le fameux neurone d'InceptionV1 répondant à la fois aux visages de chats et aux capots de voitures, ont été mal interprétées. Ce comportement relèverait d'un motif qu'il nomme « généralisation récursive », bien moins problématique. Des défauts architecturaux auraient rendu les couches tardives illisibles, amplifiant l'illusion du désordre.
Preuve concrète avancée : avec des améliorations architecturales ordinaires, sans changer la taille du modèle ni les données d'entraînement, 99 à 100 % des neurones de la dernière couche d'InceptionV1 deviennent facilement interprétables. Goodfire affirme pouvoir désormais comprendre la majorité des neurones dans des modèles jusqu'à des milliers de milliards de paramètres. L'implication : il serait possible d'étudier les réseaux directement, sans passer par une décomposition préalable.