Transformerは連想記憶から導出できる
原題: You could have invented transformers from memory
なぜ重要か
Transformerの設計原理を連想記憶から導出するアプローチは、次世代アーキテクチャ研究や生物学的神経回路との接続を議論する際の理論的基盤として注目が高まっている。
Alex Wangが個人ブログで公開した技術解説記事は、Transformerのself-attentionメカニズムが連想記憶（Associative Memory）の数学的枠組みから自然に導出できることを示した。Hopfield Networkを出発点に、エネルギー関数の最小化とsoftmax演算の等価性を段階的に展開し、「記憶の読み書き」という観点でattentionを再解釈している。
Alex Wangの記事は、Transformerのattentionが「なぜこの形なのか」という問いに、連想記憶（Associative Memory）の理論から答えるものだ。
出発点はHopfield Networkである。古典的なHopfield Networkは、パターンをエネルギー関数の極小点として記憶する。クエリを入力すると、エネルギー最小化のダイナミクスが最も近い記憶パターンへと収束する仕組みだ。これが連想記憶の基本形。
記事はここから現代的なHopfield Network（2020年にRamsauerらが提案した「Hopfield Networks is All You Need」の枠組み）へと議論を進める。連続値パターンを扱えるよう拡張されたエネルギー関数を1ステップで更新すると、その更新則がsoftmaxを使ったattentionの式と数学的に一致することを示す。つまりself-attentionは、「クエリに対して記憶（key-value）を確率的に想起する」操作と解釈できる。
Query・Key・Value という三つの行列の役割も、この視点から整理される。Keyは記憶を索引するパターン、Valueはその記憶の内容、Queryは検索のための手がかりだ。Multi-head attentionは「複数の異なる記憶空間を並列に検索する」と読める。
記事は数式を丁寧に追いながら、最終的にTransformerのattentionがHopfield Networkのエネルギー最小化から自然に現れることを示す。実装の詳細よりも「なぜこの設計になるか」の直観を与えることを目的としており、線形代数と微積分の基礎知識があれば追えるレベルで書かれている。
「Attention is All You Need」（2017年）が提案してから約8年が経過した今も、attentionの本質的な理解を巡る解説は活発に行われており、本記事もその流れに位置する。