Wafer、AMD MI355XでGLM-5.2をBlackwellの半額以下で提供
Judul asli: Performance per dollar is getting faster and cheaper
Mengapa Ini Penting
AMDがNVIDIAの推論コスト優位を実証例で崩しつつあり、GPU供給制約下での代替調達の現実性が高まっている。
WaferはAMD MI355X上でGLM-5.2を2626トークン/秒/ノード、シングルストリーム213トークン/秒で提供。コストはNVIDIA B300比で2倍以上安価と発表。
AIインフラ企業Waferは2026年7月3日、Vercel AI GatewayおよびOpenRouterと連携し、AMD MI355X上でZhipu AIの最新モデルGLM-5.2の推論サービスを開始したと発表した。
AMD MI355XはNVIDIA B300と比べてGPU単価が平均約2.75倍安価だが、ROCmスタックではday-0サポートの欠如により最新モデルへの最適化に数週間を要することが多い。
Waferは20kトークン入力／1kトークン出力、キャッシュヒット率60%の条件下で、2626トークン/秒/ノード（2.4 RPS、TTFT p95≤5秒）を達成。これはNVIDIA B200性能の約80%に相当する。
技術面では、GLM-5.2のbf16ベースモデルをAMD QuarkでMXFP4量子化。z-ai公式のFP8量子化と比較してGPQA-DiamondやGSM8Kで実質的に同等の精度を維持した。推論フレームワークはsglangを採用し、vLLMのMXFP4非対応やATOMの長文脈での劣化を避けた。さらにspeculative decodeをROCm環境向けに独自修正して有効化した。GPU容量はTensorWaveから調達している。