DeepSeekが推論エンジンをOSS公開
原題: DeepSeek just open-sourced its inference engine
なぜ重要か
本番稼働済みの大規模MoE推論基盤が公開されたことで、DeepSeekモデルの独自デプロイコストが大幅に下がる可能性がある。
中国AI企業DeepSeekは、自社の大規模本番サービスを支える高性能推論フレームワーク「DeepInfer」をApache-2.0ライセンスでオープンソース公開した。GitHubでの公開直後から注目を集め、スター数は6,000件、フォーク数は470件に達している。現時点でサポートするモデルはDeepSeek-V4.1-Flashのみ。
DeepSeekが公開した「DeepInfer」は、同社の本番推論インフラそのものをオープンソース化したフレームワークだ。単なるデモ実装ではなく、実際に大規模サービスを支えてきたコードベースを公開した点が注目される。
主な機能として、最適化されたカーネル・モデルランタイム・サンプラーランタイムを搭載。並列化については、Attention DP（データ並列）、Balanced CP（コンテキスト並列）、MoE EP（エキスパート並列）とEPLB（エキスパート並列負荷分散）に対応する。
技術的なハイライトは「DSpark」と「信頼度スケジュール付き検証（confidence-scheduled verification）」の組み合わせ、SWAバウンド型リプレイ、非同期スケジューリングによるゼロオーバーヘッドバッチスケジューラ、そしてバッチ非依存推論と決定論的サンプリングだ。構造化出力にも対応している。
NVIDIA製GPU向けとAscend（華為）向けの要件ファイルがそれぞれ用意されており、中国国内の独自ハードウェアへの対応も含む。現時点でサポートするモデルはDeepSeek-V4.1-Flashのみで、他モデルへの対応拡大は今後の課題となる。
リポジトリはGitHub上で「deepseek-ai/DeepInfer」として公開されており、24件のプルリクエストが既に開かれるなど、コミュニティの反応は即座だった。ライセンスはApache-2.0で商用利用も可能。