LLMが自分の重みを自己書き換え

原題: Language Models Can Rewrite Their Own Weights

なぜ重要か

勾配不要の自己改善が実証されれば、継続的に自己アップグレードするモデルの実現可能性が高まり、AI開発コストと手法の根幹を揺るがす。

2026年11月16日、Jiajun Fanら11名の研究者がarXivに論文を公開。勾配計算もトレーニングも使わず、27BパラメータのオープンモデルがAIが自身の推論によって自らの重みを書き換える「自己書き換え(self-rewriting)」手法を初めて実証した。未見の問題に対して精度が6.6ポイント向上し、8セッション連続で精度が上昇し続けることを確認した。

従来、言語モデルを改善するには再トレーニングか、プロンプト設計や推論時の追加計算という手段しかなかった。この論文が示す第三の道は、モデルが「自分自身のオプティマイザー」となり、推論のみのフォワードパスで自らの重みを修正するというものだ。

具体的な手順として、27Bのオープンモデルに自分の重みと採点済み回答へのアクセスを与え、自分自身を実行できる環境を整える。モデルはそこから失敗の原因を診断し、該当する重みを書き換える。結果として、一度も見ていない問題セットで6.6ポイントの精度向上を達成した。

さらに注目すべき実験として、損傷した自身のコピーの修復がある。ほぼ何も解けない状態のコピーに対し、元の重みを参照することなく、画像タスクで元モデルの80%以上の精度まで回復させた。これは再トレーニングなしで実現している。

8セッション連続の実験では、モデルが編集内容を練習問題でテストし、効果があるものだけを採用するフィードバックループを形成。精度は単調に上昇し続けた。

能力の出現はスケールに依存することも判明した。同じモデルファミリーの小規模版は有効な編集を行えないか、むしろ自身を壊してしまうのに対し、最大サイズのモデルだけが改善と修復を達成した。

研究チームは、推論時スケーリングと異なり自己書き換えは得た改善を重みに書き込むため回答ごとのコストが発生しない点、またトレーニングと異なり勾配計算を必要とせず通常のサービング時と同様のフォワードパスのみで動作する点を強調している。論文は「訓練と推論の間の壁は知性の本質的な性質ではなく、ツールの限界にすぎない」と結論付けている。

出典

arxiv.org — 元記事を読む →