DeepSeek ने DeepInfer किया ओपन-सोर्स
मूल शीर्षक: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
यह क्यों महत्वपूर्ण है
DeepSeek का प्रोडक्शन inference इंजन ओपन-सोर्स होने से बड़े पैमाने पर AI deployment की तकनीक सबके लिए सुलभ होती है।
DeepSeek ने अपना प्रोडक्शन-ग्रेड inference framework DeepInfer GitHub पर ओपन-सोर्स जारी किया। यह DeepSeek-V4.1-Flash मॉडल को सपोर्ट करता है और GitHub पर 10,900 से अधिक Stars मिल चुके हैं।
DeepSeek ने DeepInfer को Apache-2.0 लाइसेंस के तहत GitHub पर सार्वजनिक किया है। यह वही inference framework है जो DeepSeek की बड़े पैमाने की प्रोडक्शन सेवाओं को चलाता है। अभी यह ऑफलाइन inference के लिए उपलब्ध है।
तकनीकी विशेषताओं की बात करें तो DeepInfer में optimized kernels, model और sampler runtime शामिल हैं। Parallelism के लिए Attention DP, balanced CP, MoE EP और EPLB का समर्थन है। इसके अलावा DSpark और confidence-scheduled verification, SWA bounded replay, asynchronous scheduling (zero-overhead batch scheduler), batch-invariant inference, deterministic sampling और structured outputs जैसी सुविधाएँ मौजूद हैं।
फिलहाल यह DeepSeek-V4.1-Flash मॉडल को सपोर्ट करता है। NVIDIA और Ascend दोनों हार्डवेयर के लिए अलग-अलग requirements फ़ाइलें दी गई हैं, जो इसकी व्यापक hardware compatibility दर्शाती हैं। रिपॉजिटरी में अभी केवल 3 commits हैं, यानी यह बेहद ताज़ा रिलीज़ है। 959 forks और 10.9k stars इसकी तेज़ बढ़ती लोकप्रियता का संकेत देते हैं।