DeepSeekが推論フレームワーク「DeepInfer」をOSS公開
原題: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
なぜ重要か
自社本番サービスのコアをOSS化することで、vLLMなど既存フレームワークとの競争が直接始まる。
DeepSeek AIは2025年、自社の大規模本番サービスを支える高性能推論フレームワーク「DeepInfer」をApache-2.0ライセンスのもとGitHubで公開した。DeepSeek-V4.1-Flashモデルに対応し、MoE並列化や非同期スケジューリングなど本番運用向けの機能を備える。公開から短期間でスター数は1万900件、フォーク数は959件に達している。
DeepSeek AIが公開した「DeepInfer」は、同社の大規模推論サービスを実際に動かしているフレームワークをオープンソース化したものだ。単なる研究用のデモではなく、本番環境で使われているコアを外部に開放した点が特徴といえる。
現時点でサポートするモデルはDeepSeek-V4.1-Flashのみだが、実装済みの機能は多岐にわたる。並列化戦略としてAttention DP（データ並列）／バランスCP、MoE EP＋EPLBを採用。「DSpark」と「confidence-scheduled verification」による投機的デコード、SWA（Sliding Window Attention）を活用したbounded replayも組み込まれている。
スケジューリング面では「ゼロオーバーヘッドバッチスケジューラー」を謳う非同期設計を採用し、バッチサイズに依存しない安定した推論（batch-invariant inference）と決定論的サンプリングも実装済みだ。構造化出力にも対応している。
リポジトリはNVIDIA GPU向けとAscend（Huawei）向けの両方の要件ファイルを用意しており、複数ハードウェア環境での展開を念頭に置いていることがわかる。コードはC++カーネル（csrcディレクトリ）とPythonランタイム（deepinferディレクトリ）で構成され、ビルドスクリプトやevalツールも同梱されている。
Apache-2.0ライセンスでの公開のため商用利用も可能。コントリビューションガイドも整備されており、外部開発者からのPull Requestはすでに81件寄せられている。