AMD MI355XでGLM-5.2をBlackwellの半額以下で高速推論
原題: Performance per dollar is getting faster and cheaper
なぜ重要か
NVIDIA GPU不足が深刻化するなか、AMD MI355XでBlachwellの半額以下のコストで同水準の推論が可能になれば、AIインフラ調達の選択肢が広がり業界の競争構造に影響を与える。
AIインフラスタートアップのWaferは2026年7月3日、AMD MI355X上でGLM-5.2を1ノードあたり2,626トークン/秒・シングルストリーム213トークン/秒で提供できると発表した。コストはNVIDIA B200比で2倍以上安く、Vercel AI GatewayおよびOpenRouterを通じてすでにサービスを開始している。
Waferは、ZhipuAIのフロンティアモデルGLM-5.2をAMD MI355X上で動作させるベンチマーク結果と技術詳細を公開した。同社によると、MI355XはNVIDIA B300と比較してGPU単価が平均約2.75倍安く、推論コストの削減に有効だという。
性能面では、20,000トークン入力・1,000トークン出力・キャッシュヒット率60%のワークロードにおいて、TTFT（初回トークン生成時間）5秒以内という条件下で2.4 RPSの飽和点で2,626トークン/秒/ノードを達成した。これはB200上での計測値の約80%に相当する。また、Artificial Analysisの基準に従ったシングルストリームテスト（入力10,000トークン・出力1,500トークン）では213トークン/秒を記録した。
技術的なアプローチとして、まずベースのbf16モデルをAMD QuarkでMXFP4に量子化した。公式FP8量子化との比較評価では、GSM8K・GPQA-Diamond・tau2いずれの指標でもほぼ同等の精度を維持しており、事実上ロスレスと評価している。推論フレームワークにはsglangを採用。vLLMはMXFP4とGlmMoeDsaの対応パスが存在せず、ATOMは長文コンテキストで出力品質が低下したため除外した。
さらにsglang上でSpeculative Decode（MTP）を有効化することでスループット向上を図ったが、ROCm向けsglangイメージはデフォルトでは非対応であり、複数の修正が必要だったとしている。GPUキャパシティはTensorWaveから調達した。
WaferはAMDのソフトウェアエコシステムの成熟が遅れており、NVIDIA比でday-0サポートに差があることも認めつつ、エージェントによるカーネル最適化が進むことでそのギャップは縮小しつつあると述べている。