Cerebras déploie des modèles à 1 000 milliards de paramètres
Original : Cerebras Deploys Trillion-Parameter AI Models
Pourquoi c'est important
La méthode valide une alternative aux GPU pour l'inférence de très grands modèles.
Cerebras explique comment déployer des modèles frontier de plusieurs billions de paramètres sur ses puces wafer-scale WSE-3T, atteignant 1 000 à 2 000+ tokens/seconde. L'exemple retenu : Kimi K3, un modèle open source de 3 000 milliards de paramètres.
Dans un billet technique détaillé, Cerebras expose sa méthode pour faire tourner des modèles frontier massifs sur ses puces WSE-3T. Le défi est immédiat : un seul wafer WSE-3T dispose de 44 Go de mémoire SRAM on-chip, alors que les poids d'un modèle à 3 000 milliards de paramètres exigent des téraoctets de stockage.
Pour illustrer sa démarche, Cerebras utilise Kimi K3, modèle open source à ~3 000 milliards de paramètres composé de 69 couches à attention linéaire et 24 couches denses. Ce modèle affiche 88,3 % sur Terminal-Bench 2.1 (contre 88,8 % pour GPT-5.6 Sol) et 91,2 % sur BrowseComp (contre 90,4 % pour GPT-5.6 Sol).
Avec une quantification des poids en 4 bits, chaque couche pèse environ 16 Go. Les couches denses nécessitent un cache KV complet, donc un wafer chacune ; les couches à attention linéaire tiennent à deux par wafer. Résultat : 59 wafers au total pour héberger l'ensemble du modèle.
Les wafers sont connectés en pipeline via RDMA over Ethernet (~2 microsecondes par saut). Point clé : seules les activations transitent entre les puces, les poids restent fixes en mémoire. Chaque wafer joue le rôle d'une étape d'assemblage, recevant les activations intermédiaires et les transmettant au suivant. Cette architecture permet de traiter de nombreuses requêtes simultanées sans déplacer les poids à chaque inférence.