AMD MI355XでGLM-5.2が2626トークン/秒を達成
मूल शीर्षक: Performance per dollar is getting faster and cheaper
यह क्यों महत्वपूर्ण है
AMDがNVIDIA優位の推論市場においてコスト効率で競争力を示す具体的な実績として注目される。
Waferは2026年7月3日、AMD MI355X上でGLM-5.2モデルを2626 tok/s/nodeのスループットで提供することに成功したと発表した。これはNVIDIA B200の約80%の性能だが、コストはBlackwellより2倍以上安価だという。
AI推論スタートアップのWaferは、AMD MI355X GPU上でZhipuAIのGLM-5.2モデルを高速・低コストで提供することに成功したと発表した。TensorWaveのAMD MI355X設備を活用し、20kトークン入力・1k出力、キャッシュヒット率60%の条件下で、2.4 RPSにおける集計スループット2626 tok/s/nodeを達成した。TTFT（Time to First Token）のP95は2.22秒で、成功率は100%だった。シングルストリームでは10kトークン入力・1.5k出力で213 tok/s を記録した。
コスト面では、MI355XはB300と比較して平均約2.75倍安価であり、B200比で性能が約80%にとどまるものの、コスト効率では優れると同社は説明している。
技術的な手法として、Waferはbase bf16のGLM-5.2をAMD QuarkでMXFP4量子化した。z-aiの公式FP8量子化と比較した評価では、GSM8KやGPQA-Diamondなどの主要ベンチマークでほぼ同等の精度を維持した。推論フレームワークはsglangを採用。vLLMはMXFP4+GlmMoeDsaのパスが機能せず、ATOMは長コンテキストで出力が劣化したため、sglangが最も摩擦の少ない選択肢となった。さらにsglangでのSpeculative Decode（投機的デコード）有効化においては、ROCmイメージが標準対応していないため、MTPヘッドのモジュールプレフィックス問題など複数の修正が必要だったとしている。
Vercel AI GatewayおよびOpenRouterを通じてGLM-5.2のサービスが提供開始されている。