Laya: 33ms का ओपन-सोर्स निर्णय इंजन
मूल शीर्षक: I built non-autoregressive decision models with RL a year ago
यह क्यों महत्वपूर्ण है
frontier lab के बंद मॉडल के मुकाबले ओपन-वेट तेज़ निर्णय इंजन AI pipeline लागत और लेटेंसी दोनों को सीधे चुनौती देता है।
ConvAI Innovations के संस्थापक Nandakishor Mukkunnoth ने मार्च 2025 में arXiv पर non-autoregressive निर्णय मॉडल प्रकाशित किया था। सितंबर 2026 में TypeSafe AI ने Jev लॉन्च कर इसी अवधारणा को 'ब्रेकथ्रू' बताया। जवाब में Mukkunnoth ने Laya जारी किया — 32.8ms लेटेंसी, 100+ भाषाएँ, Apache 2.0 लाइसेंस।
Nandakishor Mukkunnoth ने मार्च 2025 में arXiv पेपर (arXiv:2503.23303) प्रकाशित किया, जिसमें PPO-आधारित sequence representation से sales conversation में turn-by-turn conversion trajectories निकाली जाती थीं। Hugging Face पर मॉडल वेट्स, PyPI पैकेज, और ओपन dataset भी जारी किए। सितंबर 2025 में दूसरा पेपर (arXiv:2510.01237) आया जिसमें schema-based निर्णयों के लिए RL framework औपचारिक रूप से परिभाषित किया।
सितंबर 2026 में ChatGPT के सह-आविष्कारक Diogo Almeida द्वारा स्थापित TypeSafe AI ने Jev लॉन्च किया। Jev भी non-autoregressive है, RLCD (Reinforcement Learning for Calibrated Decisions) का उपयोग करता है, $0.042 प्रति मिलियन इनपुट टोकन चार्ज करता है, और औसत response time लगभग 150ms है। लेकिन TypeSafe AI ने कोई तकनीकी पेपर, ओपन वेट्स, या ट्रेनिंग डेटासेट सार्वजनिक नहीं किया।
इसके जवाब में Mukkunnoth ने Laya बनाया — bidirectional encoder पर आधारित System 1 निर्णय इंजन। Laya की single-GPU लेटेंसी 32.8ms है (batched में 7.2ms प्रति प्रश्न), जो Jev से 6-8 गुना तेज़ है। यह 100 से अधिक भाषाओं को सपोर्ट करता है, पूरी तरह Apache 2.0 ओपन-सोर्स है, और कोई API सब्सक्रिप्शन शुल्क नहीं है।
Mukkunnoth का तर्क है कि generative LLM को ticket routing, spam detection, jailbreak पहचान जैसे सरल structured निर्णयों के लिए इस्तेमाल करना अनावश्यक है — 500ms-2000ms इंतज़ार, महँगा inference, और hallucinated confidence scores। Laya इन्हें System 1 (reflexive) तरीके से हल करता है।