DeepSeek lance DeepInfer, son moteur d'inférence open source
Original : DeepInfer: High-performance, large-scale inference framework for DeepSeek models
Pourquoi c'est important
DeepSeek ouvre l'infrastructure réelle de ses services, pas un simple wrapper.
DeepSeek a publié DeepInfer sur GitHub, le framework d'inférence haute performance qui alimente ses services de production à grande échelle. Il supporte DeepSeek-V4.1-Flash et totalise déjà 10 900 étoiles.
DeepSeek a mis en open source DeepInfer, le système d'inférence qui tourne en production derrière ses propres services. Le dépôt GitHub, publié sous licence Apache-2.0, compte déjà 10 900 étoiles et 959 forks en quelques jours seulement.
Le framework prend en charge le modèle DeepSeek-V4.1-Flash et embarque plusieurs optimisations pensées pour le déploiement à très grande échelle : kernels optimisés, parallélisme via Attention DP, Chunked Prefill équilibré (CP), ainsi que le partitionnement d'experts MoE avec EPLB. DeepInfer intègre aussi DSpark et une vérification à confiance programmée, un mécanisme de relecture SWA bornée, un ordonnanceur asynchrone à surcoût nul, et un échantillonnage déterministe.
L'inférence est dite « batch-invariant », ce qui signifie que les résultats restent stables quelle que soit la taille du lot traité — une propriété rare et appréciable en production. Les sorties structurées sont également supportées.
La version publiée correspond à une inférence offline ; elle expose les briques fondamentales utilisées en interne par DeepSeek pour servir ses modèles à l'échelle.