Les Transformers, dérivés de la mémoire associative
Original : You could have invented transformers from memory
Pourquoi c'est important
Comprendre l'attention via la mémoire éclaire les limites et futures évolutions des LLMs.
Un billet de blog d'Alex Wang retrace comment l'architecture Transformer peut être redérivée à partir des réseaux de mémoire associative de Hopfield, offrant une lecture mathématique unifiée du mécanisme d'attention.
Dans un article technique publié sur son site personnel, Alex Wang propose une dérivation pédagogique de l'architecture Transformer en partant des réseaux de mémoire associative — en particulier des réseaux de Hopfield et de leurs variantes modernes. L'idée centrale : le mécanisme d'attention n'est pas une invention surgissant de nulle part, mais la conséquence naturelle d'une règle de mise à jour d'énergie pour récupérer un pattern stocké en mémoire. Wang montre que si l'on formalise la recherche d'un pattern comme une minimisation d'énergie, on retrouve quasi mécaniquement le produit scalaire normalisé (scaled dot-product attention) utilisé dans les Transformers. Les matrices de requêtes (Q), clés (K) et valeurs (V) émergent directement de ce cadre. L'article s'inscrit dans une tendance récente de la recherche à relier les Modern Hopfield Networks — capables de stocker exponentiellement plus de patterns que les modèles classiques — à l'attention multi-têtes. Cette perspective donne une intuition plus profonde sur pourquoi softmax fonctionne si bien comme fonction de récupération. Aucun chiffre de performance ni résultat expérimental n'est avancé : il s'agit d'une synthèse théorique et pédagogique.