DeepSeek V3 को 190 लाइनों में JAX में लिखा
मूल शीर्षक: Show HN: DeepSeek V3 in ~200 lines of pure Jax
यह क्यों महत्वपूर्ण है
यह दिखाता है कि बड़े AI architecture को minimal कोड में समझना और reproduce करना संभव है।
डेवलपर Vaibhaav Tiwari ने DeepSeek V3 की पूरी architecture — MLA, DeepSeekMoE, aux-loss-free balancing और MTP — केवल 190 लाइनों के pure JAX कोड में लिखी और इसे MacBook Air पर train किया।
GitHub पर सार्वजनिक हुए इस प्रोजेक्ट में Vaibhaav Tiwari ने DeepSeek V3 के technical report की architecture को बिना किसी बड़े framework के लागू किया है। न Flax, न Equinox, न PyTorch — सिर्फ plain JAX। Model के parameters साधारण array dictionaries हैं और हर हिस्सा एक readable function है।
190 लाइनों में Multi-head Latent Attention (MLA) भी शामिल है, जो full keys और values के बजाय प्रति token एक छोटा latent cache रखती है — यहाँ 480 की जगह 144 numbers प्रति token प्रति layer। Decoupled RoPE भी लागू किया गया है जिसमें एक rotary key सभी heads में साझा होती है।
DeepSeekMoE के तहत एक shared expert हमेशा चलता है और 16 routed experts में से चुनिंदा को activate किया जाता है। Training public-domain detective fiction पर MacBook Air पर की गई। प्रोजेक्ट को अब तक 142 stars और 14 forks मिले हैं। एक विस्तृत write-up भी उपलब्ध है जिसमें diagrams और code की व्याख्या दी गई है।