ニューラルネットは既にクリーンだった
原題: Neural networks are clean
なぜ重要か
AI安全の基盤技術であるmechanistic interpretabilityの前提が覆れば、SAEを用いた分解手法の必要性や研究投資の方向性が大きく変わる。
AI安全研究企業GoodfireのNick Cammarata氏は、ニューラルネットワークの解釈可能性に関する非公式研究エッセイを公開した。画像・言語モデルの神経回路を数ヶ月間調査した結果、多意味性（polysemanticity）の主因とされてきた「superposition仮説」は誤読であり、ネットワークは実は直接解析可能な構造を持つと主張している。
機械論的解釈可能性（mechanistic interpretability）の分野において、長らく定説とされてきた「superposition仮説」に根本的な疑問を投げかける研究が発表された。Goodfire社のNick Cammarata氏が65分読み相当の長文エッセイとして公開した本仮説は、業界の前提を覆す可能性がある。
superposition仮説とは、ニューラルネットワークがニューロン数の上限に達すると、無関係な概念を同一ニューロンに「折り畳む」ように学習するというものだ。これにより、ニューロンの応答が複数の無関係なカテゴリに反応する「多意味性」が生じるとされてきた。最も有名な例が、InceptionV1において猫の顔と車のフロントの両方に反応するニューロンだ。この現象から、ネットワークはまず「もつれを解く」作業が必要とされ、Sparse Autoencoder（SAE）のような第二モデルを使った分解手法が主流となっていた。
Cammarata氏の調査によると、InceptionV1の後期レイヤーが理解困難に見えた主因はsuperpositonではなく、アーキテクチャ上の問題と解釈ツールの弱さだったという。後続のアーキテクチャ改善（深いレイヤーの学習を助けることを目的としたもの）を適用した結果、モデルサイズや学習データを変更することなく、最終レイヤーのニューロンの99〜100%が容易に解釈可能になったと報告している。
氏が「recursive generalization」と呼ぶモチーフが、従来「任意の折り畳み」と誤認されていた現象の正体だとする。これははるかに懸念の少ない構造であり、ネットワーク自体の機構がそのまま解析の単位となり得ることを示唆している。
氏はさらに、数兆パラメータ規模のモデルにおいても大半のニューロンを理解できると主張しており、mechanistic interpretabilityの見通しは従来の想定より「はるかに良い」と述べている。