CPU RISC-V Berjalan di Dalam Bobot Model Qwen3.5
Judul asli: Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Mengapa Ini Penting
Membuktikan bobot model bisa memuat logika komputasi deterministik penuh, bukan sekadar probabilistik.
Divyansh Agrawal menyematkan CPU RISC-V fungsional ke dalam bobot Qwen 3.5 4B, menggunakan lapisan Gated DeltaNet sebagai RAM untuk menjalankan kode C dan MicroPython tanpa runtime eksternal.
Proyek eksperimental bernama Qwenputer ini memodifikasi model Qwen 3.5 4B dengan menyematkan CPU RISC-V yang berjalan sepenuhnya di dalam forward pass model. Yang unik: RAM untuk CPU tersebut bukan memori eksternal, melainkan layer Gated DeltaNet (GDN) milik model itu sendiri.
Qwen3.5 menggunakan GDN sebagai mekanisme atensi pada 3 dari 4 lapisan atensinya. Setiap head GDN menyimpan state matrix yang diperbarui mengikuti delta rule. Agrawal menemukan bahwa dengan mengatur gate ke nilai 1, write strength (beta) ke 1, dan menggunakan one-hot key encoding, setiap operasi tulis akan menimpa tepat satu baris state — menjadikannya RAM yang presisi dan deterministik.
Keunggulan teknis ini dibanding KV cache atensi biasa adalah ukuran state GDN tetap konstan berapapun panjang percakapan. CPU yang tertanam mampu menjalankan operasi aritmetika, kode C, dan MicroPython tanpa plugin, tool, maupun sandbox eksternal. Agrawal juga menyertakan penyimpanan file eksperimental di dalam model. Model tersedia di Hugging Face, ModelScope, dan kodenya di GitHub.