ローカルLLMがモデル重みを解読
原題: Qwen 3.8 27B on my laptop can interpret model weights, too
なぜ重要か
高価なAPIを使わずローカルモデルが重みを解析できるなら、モデル解釈可能性研究の裾野が大きく広がる可能性がある。
Simon Willisonは2026年11月3日、自身のノートPC上で動作するQwen 3.8 27Bが、機械学習モデルの生の重みデータ（浮動小数点数）を解析し、そのモデルが何のゲームをプレイするよう訓練されたかを特定できることを確認した。これは同日話題となった論文「Sparks of Weight-Space Programming」の再現実験として行われた。
発端は、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4名が発表した論文（著者らは「ブログ記事」と位置付けるも、論文形式）「Sparks of Weight-Space Programming」だ。同論文はフロンティアモデル、特にGPT-6 Astraが、ツールやコード実行なしに生の重みデータを読み解き、さらに書き換える能力を持つと主張している。
論文の目玉実験では、Breakout・Pong・Pac-Man・Freewayの4ゲームをプレイするために強化学習で訓練した小型ネットワークの重みを、浮動小数点数のテキストとしてLLMに入力し、「どのゲームのために訓練されたか」を答えさせた。ツール・コード実行は一切禁止という条件だ。
Willisonはこの実験をQwen 3.8 27Bで手元のノートPCにて再現。GitHubリポジトリ（RikiyaT/lm_understand-logs）に公開されたプロンプトをそのまま使い、自作のCLIツール「LLM」の`-f`オプションでURLから直接読み込んで実行したところ、同様の結果が得られたとしている。
ただし、論文への批判も存在する。spaCyの作者であるMatthew Honnibalは「ツールなし推論」と「コードを使った重み更新」を混在させている点を指摘し、論文が誤解を招くと述べた。また、Sean Goedeckeは論文中のQwen3.5-0.8Bの数学性能改善例（MATH-500スコアを7.9%から48.1%に向上）について、人間のML研究者が踏むのと同じ手順を追っているに過ぎないと分析している。
Willisonは今回の記事で、ツールを用いない「理解」の部分に焦点を当て、フロンティアモデル以外のローカルモデルでも再現可能であることを実証した点に意義があると述べている。