LLMがニューラルネットの重みを直接読み書き
原題: Astra can read and write weights to improve Qwen
なぜ重要か
勾配不要の重み編集が実用化されれば、モデル最適化と解釈可能性の両分野で既存手法が根本から問い直される可能性がある。
MIT CSAILの研究者らは2026年11月2日、フロンティアLLMがニューラルネットワークの重みをネイティブに読み書きできることを示す研究「Weight-Space Programming」を公開した。GPT-6（Astra）はQwen3.5-0.8Bの重みの0.016%を編集するだけで、MATH-500スコアを7.9%から48.1%に向上させた。
MIT CSAILのRikiya Takehi氏らが発表した研究によると、OpenAIのGPT-6（コードネーム：Astra）は勾配計算もトレーニングループも使わずに、ニューラルネットワークの重みを直接操作することに成功した。研究チームはこの手法を「Weight-Space Programming」と呼ぶ。
実験は三つのデモで構成される。まずAstraは17,253個の重みを読み込み、そのネットワークがBreakoutというゲームのプレイ用に訓練されたものだと99%の確信度で特定した。次に、ゴールラインを越えられなかった車の制御ポリシーの重みの3.5%を1回の編集で修正し、成功率を0%から100%に引き上げた。
最も注目されるのはQwen3.5-0.8Bへの応用だ。Astraは重みを分析し、Qwenの公式モデルカードでも警告されていた「推論ループ」を引き起こす箇所を特定。全重みのわずか0.016%を編集しただけで、MATH-500のスコアが7.9%から48.1%へと急上昇した。さらにこの修正は指示追従能力（IFEval）にも汎化し、スコアが3倍に向上した。
ゲームプレイ用の小規模ネットワークをゼロから記述する実験では、環境フィードバックなしに、PPOで1億ステップ訓練したネットワークを上回るポリシーを生成した。
研究者らは、AdamやMuonのような従来の最適化アルゴリズムに代わり、LLMが重みを意図的に推論しながら最適化する時代が来るとしている。現時点では小規模ネットワークや特定の局所修正にとどまるが、スケーラビリティへの示唆は大きい。