Un CPU RISC-V logé dans les poids de Qwen3.5
Original : Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Pourquoi c'est important
Montre qu'on peut compiler du comportement déterministe dans des poids hybrides RNN/Transformer.
Divyansh Agrawal a embarqué un CPU RISC-V fonctionnel dans un modèle Qwen 3.5 4B, utilisant ses couches Gated DeltaNet comme RAM. Le système exécute du C et du MicroPython sans outil externe.
Baptisé Qwenputer, ce projet expérimental transforme un Qwen 3.5 4B standard en machine capable d'exécuter des opérations arithmétiques, du code C et du MicroPython — entièrement dans les passes forward du modèle, sans plugin ni sandbox. Le secret : les couches Gated DeltaNet (GDN), présentes dans 3 des 4 couches d'attention de Qwen3-Next et Qwen 3.5, se comportent comme de la RAM exacte et adressable. En fixant la gate à 1 (pas d'oubli), le write strength bêta à 1 (remplacement total) et en utilisant des clés one-hot (pointant sur une seule ligne d'état), chaque écriture écrase précisément une ligne mémoire et chaque requête la récupère sans erreur. Contrairement au KV cache de l'attention classique, la taille de l'état GDN reste constante quelle que soit la longueur du contexte. Agrawal souligne que l'idée d'une mémoire associative basée sur la delta rule n'est pas nouvelle — Schlag et al. (2021) l'avaient théorisée — mais l'appliquer de façon déterministe à un CPU complet dans un modèle de production est inédit. Le code est disponible sur GitHub et le modèle sur Hugging Face et ModelScope.