Kimi K3をMI355Xで稼働、B300より高いコスパを実証
原題: Running Kimi K3 on MI355X at Better Performance per Dollar Than B300
なぜ重要か
2兆パラメータ超の超大規模モデル運用においてAMDがコスト効率で優位性を示したことは、AI推論インフラ市場におけるNVIDIA依存の変化を示す具体的な事例となる。
AIインフラスタートアップのWaferは2026年7月31日、AMD MI355X上でKimi K3（2.8兆パラメータ）を952トークン/秒/ノードで稼働させたと発表した。GPU時間あたりのコストパフォーマンスはNVIDIA B300比で約1.45倍、B200比で約6.8倍優れており、AMDがコスト効率で競合に優位性を示した。
WaferはブログポストにてAMD MI355X上でMoonshotAIの大規模オープンソースモデルKimi K3を運用した検証結果を公開した。Kimi K3は2.8兆パラメータを持ち、重みだけでVRAM 1.5TB超が必要となる。NVIDIA B200（1ノード8GPU、192GB×8）では単一ノードへの収容が不可能であり、2ノード16GPU構成（TP16）が必要となる。一方、MI355XはGPU1基あたり288GBのHBMを搭載しており、B300と同じ8GPU構成（TP8）で収容できる。
検証は入力1,024トークン・出力400トークンのベンチマークで実施。スループットの比較は以下のとおり。MI355X（8GPU）は952トークン/秒（ピーク集計）・シングルストリーム118トークン/秒。B200（16GPU・2ノード）は498トークン/秒・90トークン/秒。B300（8GPU）は1,568トークン/秒・172トークン/秒。コスト換算（GPU時間あたり：MI355X 2.50ドル、B300 6.00ドル、B200 4.25ドル）では、MI355Xが48トークン/秒/ドルを達成。B300の33トークン/秒/ドル、B200の7トークン/秒/ドルを大きく上回った。
B200は2ノードにまたがる構成上、デコードのクリティカルパスでRoCE v2（約195Gb/s）のクロスノード通信が発生しており、スループットが抑制されている。Waferはこの点がMI355XのHBM容量重視設計が実際のアドバンテージとして現れた初めての事例の一つと述べている。
ソフトウェア面では、AMDがKimi K3向けにday-0サポートを提供したことで多くの初期作業が省略された。ただし投機的デコード（Speculative Decode）の実装においてROCm環境でsglangのカーネルに`top_k_renorm_prob`未定義エラーが発生するなど、CUDA環境との差異への対応が必要だったとしている。Waferはエージェントによるカーネル最適化でこうしたAMDとNVIDIAのソフトウェアギャップを埋めることを目指していると説明している。