AMD MI355XでGLM-5.2をB200比2倍以上低コスト提供
원제: Performance per dollar is getting faster and cheaper
왜 중요한가
NVIDIAのGPU不足・価格高騰が続く中、AMD環境での高コストパフォーマンス推論の実現可能性を具体的数値で示した事例として業界の注目を集める。
AI推論スタートアップのWaferは2026年7月3日、AMD MI355X上でZhipuAIのGLM-5.2モデルを1ノードあたり2626トークン/秒のスループットで提供したと発表した。コストはNVIDIA B200比で2倍以上低く、Vercel AI GatewayおよびOpenRouter経由でサービスを開始した。
Waferは、TensorWaveが提供するAMD MI355X上でGLM-5.2の推論サービスを構築し、20kトークン入力・1k出力・キャッシュヒット率60%の負荷条件において、RPS 2.4時に最大2626トークン/秒/ノードを達成した。TTFT（初回トークン生成時間）のp50は0.81秒、p95は2.22秒で、成功率は100%。シングルストリームでは10k入力・1.5k出力で213トークン/秒を記録した。
NVIDIA B200比ではスループットが約80%にとどまるが、GPU単価はMI355X対B300で平均約2.75倍安く、コストパフォーマンスで優位に立つ。
技術面では、GLM-5.2のベースモデル（bf16）をAMD QuarkでMXFP4に量子化。z-aiが提供する公式FP8量子化との比較ではGPQA-Diamond・GSM8K・tau2の各評価でほぼ同等の精度を維持した。推論フレームワークはsglangを採用。vLLMはMXFP4＋GlmMoeDsaのパスが未対応で量子化の恩恵を受けられず、ATOMは長文コンテキストで出力が劣化したため除外した。
AMDのROCm環境はNVIDIAのようなday-0サポートがなく、新モデルの最適化に数週間を要するという課題があるが、Waferはエージェントによるカーネル最適化を活用してこのギャップを縮小していると説明している。