GLM-5.2 (744B) tourne sur 25 Go de RAM avec Colibri
Original : Show HN: Getting GLM 5.2 running on my slow computer
Pourquoi c'est important
Démontre qu'un LLM de 744B paramètres peut fonctionner sur PC standard grâce au streaming disque.
Le projet open source Colibri, développé en pur C sans dépendances, permet de faire tourner le modèle GLM-5.2 de 744 milliards de paramètres (MoE) sur une machine grand public disposant seulement de 25 Go de RAM, en streamant les experts depuis le disque.
Colibri est un moteur d'inférence minimaliste écrit entièrement en C, sans aucune dépendance externe, conçu pour exécuter le modèle GLM-5.2, un modèle Mixture-of-Experts (MoE) de 744 milliards de paramètres, sur du matériel grand public. L'astuce repose sur l'architecture MoE : seuls ~40 milliards de paramètres sont activés par token. La partie dense du modèle (attention, experts partagés, embeddings, soit ~17B paramètres) est maintenue en RAM au format int4, occupant environ 9,9 Go. Les 21 504 experts routés (75 couches MoE × 256 experts, ~19 Mo chacun en int4) sont stockés sur disque (~370 Go au total) et chargés à la demande via un cache LRU par couche. Au démarrage, le système est prêt en 32 secondes. Le projet est publié sous licence Apache 2.0 et a déjà récolté plus de 837 étoiles sur GitHub.