Jeff: 0.8B ओपन मॉडल, 30ms में निर्णय
मूल शीर्षक: Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
यह क्यों महत्वपूर्ण है
बड़े LLM के सामने छोटा निर्णय मॉडल रखने से inference लागत और समय दोनों में भारी कमी संभव है।
GitHub पर firelex द्वारा जारी Jeff एक 0.8B पैरामीटर का ओपन 'System 1' मॉडल है, जो LoRA adapters के साथ घर के hardware पर ~30ms में निर्णय लेता है और Jev फॉर्मेट से compatible है।
Jeff एक हल्का निर्णय मॉडल है जिसे खासतौर पर तेज़ और calibrated probability-आधारित विकल्प चुनने के लिए बनाया गया है। यह Qwen3.8-27B जैसे बड़े मॉडलों के आगे 'gatekeeper' की तरह काम करता है — Jeff पहले जवाब देता है, और सिर्फ तब बड़ा मॉडल बुलाया जाता है जब Jeff अनिश्चित हो।
8 adapters पर किए गए परीक्षण में नतीजे उल्लेखनीय रहे: अकेले Qwen3.8-27B की औसत सटीकता 86.6% थी, जबकि Jeff + adapters के साथ यह 95.3% हो गई। निर्णय समय 8.1 सेकंड से घटकर 0.25 सेकंड (38 गुना तेज़) रहा। गलत जवाब 13.4% से घटकर 4.7% — यानी 2.8 गुना कम।
मॉडल का base एक ही है, और domain के अनुसार swappable LoRA adapters लगाए जा सकते हैं। Jeff v1.2 community preview 1 अक्टूबर 2026 को नौ adapters के साथ जारी हुई है। Stable LTS version v1.3 लगभग 36 घंटों में आने वाला है, जिसके बाद official adapters को retraining होगी। ध्यान देने वाली बात: adapters base versions के बीच carry over नहीं होते, लेकिन data sets होते हैं।
यह मॉडल GitHub पर MIT license के तहत उपलब्ध है और Hugging Face पर भी मौजूद है। TypeScript clients और examples भी repository में शामिल हैं।