ニューラルネットワークに潜む記号構造を解明

R. Thomas McCoyら（Johns Hopkins大学ほか）は論文「The Emergent Symbolic Structure of Artificial Neural Networks」にて、ニューラルネットワークが連続ベクトルで情報を表現するにもかかわらず、言語・論理・数学などの記号的タスクで高い性能を発揮する理由を研究した。研究チームは、ネットワーク内部の表現が「記号構造」として近似できると仮説を立て、これを検証した。具体的には、ネットワークの表現生成プロセス全体を閉形式の数式（記号構造を実体化したもの）に置き換えても、モデルの挙動がほぼ変わらないことを示した。この知見は、リスト操作に訓練された小規模ネットワークだけでなく、算術・論理・コード・自然言語という4分野で動作するLLMにも成立する。さらに、この記号的近似を用いてLLMの内部表現に精密な介入を行うことで、挙動を意図的に変更できることも確認。論文は本文30ページ、参考文献・付録29ページで構成される。