Wafer : GLM-5.2 sur AMD MI355X à 2626 tok/s
Original : Performance per dollar is getting faster and cheaper
Pourquoi c'est important
La compétitivité croissante d'AMD en inférence IA pèse sur la domination de NVIDIA dans ce segment.
Wafer a déployé le modèle GLM-5.2 sur des GPU AMD MI355X via TensorWave, atteignant 2626 tok/s/nœud en agrégat et 213 tok/s en flux unique, à un coût plus de 2 fois inférieur à celui des GPU NVIDIA Blackwell B200, selon un billet publié le 3 juillet 2026.
La startup Wafer a annoncé avoir optimisé le modèle GLM-5.2 de ZhipuAI pour fonctionner sur des GPU AMD MI355X, en collaboration avec Vercel AI Gateway et OpenRouter. Sur une charge de travail de 20 000 tokens en entrée / 1 000 en sortie avec un taux de cache hit de 60 %, Wafer a atteint un débit agrégé de 2626 tok/s/nœud à 2,4 requêtes par seconde, avec un TTFT p50 de 0,81 s — représentant environ 80 % des performances mesurées sur un B200 NVIDIA, pour un coût plus de 2 fois inférieur. En flux unique (10 000 tokens en entrée, 1 500 en sortie), le système atteint 213 tok/s. Techniquement, Wafer a quantifié le modèle de bf16 vers MXFP4 via AMD Quark, obtenant des résultats jugés « sans perte » par rapport à la quantification FP8 officielle de ZhipuAI sur les benchmarks GSM8K, GPQA-Diamond et tau2. L'équipe a retenu sglang comme moteur d'inférence, vLLM ne supportant pas le chemin MXFP4 + GlmMoeDsa, et ATOM présentant des dégradations en long contexte. L'activation du décodage spéculatif (speculative decode) a nécessité des corrections supplémentaires dans l'image ROCm de sglang. Wafer souligne que le MI355X est en moyenne 2,75 fois moins cher que le B300 NVIDIA, et que l'écart logiciel avec NVIDIA se réduit grâce aux progrès de l'optimisation automatisée.