Magnitude: एजेंट के लिए स्व-अनुकूलन inference इंजन
मूल शीर्षक: Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents
यह क्यों महत्वपूर्ण है
local inference की गति और hardware अनुकूलन, cloud-dependent AI विकास का एक व्यावहारिक विकल्प पेश करते हैं।
YC S25 स्टार्टअप Magnitude ने एजेंट्स के लिए open source inference इंजन लॉन्च किया। यह उपकरण उपयोगकर्ता के hardware पर kernels को compile और tune करता है, जिससे open models llama.cpp की तुलना में 2x तक तेज़ चलते हैं। Apple Silicon, NVIDIA, AMD और CPU सभी पर काम करता है।
Magnitude एक open source inference engine है जिसे खास तौर पर AI एजेंट्स के लिए बनाया गया है। इसकी सबसे बड़ी खासियत यह है कि यह उपयोगकर्ता के exact hardware को पहचानकर अपने kernels को स्वयं compile और optimize करता है — यानी हर डिवाइस पर अलग-अलग tuning।
प्रदर्शन के मामले में, Magnitude का दावा है कि यह llama.cpp की तुलना में open models को 2x तक तेज़ चला सकता है। Pi, OpenCode, Hermes, Codex जैसे लोकप्रिय एजेंट टूल्स को one-click integration से जोड़ा जा सकता है।
यह macOS, Windows और Linux तीनों पर उपलब्ध है और Apple Silicon, NVIDIA GPU, AMD GPU के साथ-साथ केवल CPU पर भी काम करता है। GitHub पर इसे अभी तक 5,700 से अधिक Stars मिल चुके हैं और 397 Forks हैं।
प्रोजेक्ट Apache-2.0 license के तहत open source है। YC S25 batch का यह स्टार्टअप local inference को ज़्यादा सुलभ और तेज़ बनाने की दिशा में काम कर रहा है, जहाँ cloud पर निर्भरता कम हो और developers अपने hardware का पूरा फायदा उठा सकें।