LLMの重みにRISC-V CPUを内蔵
原題: Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
なぜ重要か
LLMの重みに実行可能なCPUを埋め込むアプローチは、モデル内部でのコンピューティングと監視の新たな研究方向を示す。
研究者のDivyansh Agrawal氏は2026年10月22日、Qwen 3.5（4Bパラメータ）の重みにRISC-V CPUを組み込んだ実験的モデル「Qwenputer」を公開した。このCPUはモデル自身のGated DeltaNet（GDN）アテンション層をRAMとして使用し、外部ツールや実行環境を一切用いることなく算術演算・C言語・MicroPythonコードを実行できる。
Qwenputer は、Qwen 3.5 4B モデルに手を加えた実験的な改造モデルだ。最大の特徴は、モデルのフォワードパス内だけで完結するRISC-V CPUを重みに「コンパイル」して埋め込んだ点にある。プラグインでもサンドボックスでもなく、純粋にモデルの計算グラフの中でCPUが動く。
その仕組みの核心はGated DeltaNet（GDN）層の性質にある。Qwen 3.5 は4層に1つの割合でGDNをアテンション機構として採用している。GDNの各ヘッドは「状態行列」を保持し、デルタ則によって更新される。Agrawal氏は、ゲートを1・書き込み強度（beta）を1・キーをone-hotエンコードに設定することで、この状態行列が決定論的なRAMとして機能することを確認した。one-hotキーは状態行列の特定の1行だけを指し示すため、書き込みと読み出しが正確なアドレス指定で行える。通常のアテンションのKVキャッシュがシーケンス長に比例して増大するのに対し、GDNの状態は一定サイズで済む点もメリットだ。
この仕組みを活用して、レジスタ・メモリ・プログラムカウンタをGDN層の各行に割り当て、RISC-V CPUの全動作をモデル内に実装した。モデルは乗算などの演算をこの内蔵CPUに渡し、結果を取得できる。さらに実験的なインモデルファイルストレージも実装済みだ。
理論的な背景としては、デルタ則が連想記憶として機能するというSchlagら（ICML 2021）の先行研究があるが、Agrawal氏はそれを本番モデルの内部で決定論的かつアドレス指定可能な形で実現した点が新しいと説明している。モデルはHugging FaceおよびModelScope、ソースコードはGitHubで公開されている。