DeepSeek 4 Flash के लिए Metal आधारित इंजन
मूल शीर्षक: DeepSeek 4 Flash local inference engine for Metal
यह क्यों महत्वपूर्ण है
DeepSeek मॉडल के लिए विशेषीकृत inference engine स्थानीय AI deployment को अधिक कुशल बनाता है।
GitHub पर antirez द्वारा ds4 नामक DeepSeek V4 Flash मॉडल के लिए विशेष रूप से डिज़ाइन किया गया स्थानीय inference engine जारी किया गया। यह Metal GPU के लिए अनुकूलित है और एक समर्पित रनटाइम के रूप में बनाया गया है।
ds4.c एक छोटा native inference engine है जो विशेष रूप से DeepSeek V4 Flash मॉडल के लिए डिज़ाइन किया गया है। यह एक सामान्य GGUF runner या किसी अन्य runtime का wrapper नहीं है, बल्कि एक विशेष framework है। मुख्य component एक DeepSeek V4 Flash-specific Metal graph executor है जिसमें DS4-specific loading, prompt rendering, KV state, और server API integration शामिल है। Developer antirez ने स्पष्ट किया कि यह प्रोजेक्ट llama.cpp और GGML के बिना संभव नहीं होता और Georgi Gerganov तथा अन्य contributors का आभार व्यक्त किया। प्रोजेक्ट GitHub पर 1.6k stars प्राप्त कर चुका है और 92 forks के साथ सक्रिय development में है। यह MIT license के तहत उपलब्ध है और Metal GPU के प्रदर्शन का लाभ उठाने के लिए optimized है।