Un world model tourne sur Raspberry Pi Pico 2 W
Original : A tiny world model running games on a Raspberry Pi Pico 2 W
Pourquoi c'est important
Preuve que des modèles génératifs peuvent tenir sur du matériel ultra-contraint.
Un développeur a fait fonctionner deux réseaux de neurones sur un Raspberry Pi Pico 2 W : l'un génère des jeux frame par frame, l'autre y joue en temps réel, le tout sur un microcontrôleur à moins de 5 €.
Le projet tinyworldformer, publié sur GitHub par SheepSeb, embarque deux réseaux de neurones miniaturisés sur un Raspberry Pi Pico 2 W. Le premier — un world model — prédit la prochaine frame d'un jeu à partir de la frame actuelle et d'une action. Le second — un actor network — analyse cette frame générée et choisit l'action suivante. Les deux tournent en boucle, directement sur le microcontrôleur.
L'idée de départ : explorer les "looped transformers", où un seul bloc transformer est appliqué plusieurs fois avec les mêmes poids, plutôt que d'empiler des couches différentes. Cette réutilisation des poids réduit drastiquement l'empreinte mémoire, ce qui rend le modèle viable sur un chip aussi limité que le Pico 2 W. Ce dernier a été choisi pour son coût bas et la présence d'une FPU (unité de calcul flottant).
Le code, écrit en Rust et Python, inclut quantization, un agent RL en streaming, et une interface navigateur. L'agent peut apprendre à jouer directement dans sa propre simulation, sans accès au vrai environnement. Le dépôt compte déjà 159 étoiles et 5 forks.