Redis निर्माता का ds4: Mac पर LLM चलाएं
मूल शीर्षक: From the creator of Redis; run LLM locally with ds4
यह क्यों महत्वपूर्ण है
Redis निर्माता का यह प्रोजेक्ट local frontier inference को व्यावहारिक बनाने की दिशा में एक ठोस तकनीकी प्रयास है।
Redis के रचयिता Antirez ने DwarfStar 4 (ds4) लॉन्च किया — एक C-आधारित inference engine जो DeepSeek V4/V4.1, GLM 5.x और Qwen3.8 को Apple Silicon, CUDA व ROCm मशीनों पर locally चलाता है। MIT लाइसेंस के तहत GitHub पर उपलब्ध।
ds4 एक संकीर्ण-उद्देश्यीय (narrow-purpose) C inference engine है जिसे उच्च-मेमोरी वाली local मशीनों पर frontier open-weight मॉडल चलाने के लिए बनाया गया है। यह generic GGUF runner नहीं है — बल्कि केवल चुनिंदा मॉडल परिवारों को end-to-end validate करता है।
इसमें asymmetric 2-bit quantization का उपयोग होता है: routed experts को compress किया जाता है जबकि shared critical paths को सटीक (precise) रखा जाता है। 284 अरब parameter वाला DeepSeek V4 Flash इस तरह 64GB+ Apple Silicon Mac पर चलने योग्य बनता है।
ds4 की एक उल्लेखनीय विशेषता है KV cache को disk पर सहेजना — prompt का SHA1 hash key के रूप में इस्तेमाल होता है, जिससे server restart के बाद भी long prefix दोबारा compute नहीं करनी पड़ती। यह RAM और SSD के बीच cache को स्थानांतरित करता है।
इंटरफेस तीन हैं: `./ds4` (CLI chat), `./ds4-server` (OpenAI व Anthropic-compatible API), और `./ds4-agent` (native coding agent)। तीनों एक ही model state और cache साझा करते हैं।
समर्थित hardware में Apple Silicon Mac (64GB+), NVIDIA DGX Spark, AMD Strix Halo (ROCm), और Mac Studio 512GB शामिल हैं। प्रोजेक्ट MIT लाइसेंस के तहत GitHub पर 19k से अधिक stars के साथ उपलब्ध है।