DeepSeek V4 FlashをAMD MI300X単体で本番運用
原題: DeepSeek V4 Flash on a Single AMD MI300X
なぜ重要か
NVIDIAに依存せずAMD GPU単体で大規模MoEモデルを本番運用できることを実証し、AIインフラの選択肢拡大に貢献する成果として注目される。
エンジニアのRyan Zhouが、AMD MI300X 1枚でDeepSeek-V4-Flash-0731を本番運用するための設定・パッチ集をGitHubで公開した。追加の量子化やオフロードなしで156.67 GiBのウェイトをHBMに載せ、単一ストリームで中央値168.6 tok/s、8並列で合計542 tok/sを達成。コンテキスト長256Kを検証済みとしている。
Ryan Zhouは、DeepSeek-AIの大規模言語モデル「DeepSeek-V4-Flash-0731」をAMD MI300X GPU 1枚のみで本番稼働させるためのリポジトリ「deepseek-v4-flash-mi300x」をGitHubに公開した。
同リポジトリにはDocker Composeスタック、SHA-256固定のファイルオーバーレイ、上流との差分パッチ、カーネルチューニングテーブルが含まれる。使用したソフトウェアスタックはvLLM ROCm nightly（0.26.1rc1.dev229+g124154a88.rocm723）とAITER 0.1.19。
主なベンチマーク結果は以下のとおり。単一ストリーム中央値デコード速度168.6 tok/s、チューニング済みカーネルによるプリフィル速度は約7,900〜8,500 tok/s（初回プロンプトでは6,988〜7,019 tok/s）。8並列ストリームでは合計542 tok/s・ストリームあたり中央値90.3 tok/s、64ストリームのバースト時は合計830 tok/sをOOMなしで達成した。コンテキスト長は256Kを検証済みで、アーキテクチャ上は1Mをサポートするとしている。ウェイトはHBMに156.67 GiB格納し、追加量子化やウェイトオフロードは行っていない。
公式のvLLMレシピはNVIDIAおよび新しいAMDハードウェアを対象としており、MI300X上で安定動作させるためにFP8フォーマット、高並列時のMoEルーティング、因果的投機的検証、CPU-KV同期、未チューニングのカーネル形状など複数の問題を修正したパッチを適用している。