खुद बनाएं Decision Model
मूल शीर्षक: Build your own decision model
यह क्यों महत्वपूर्ण है
Constrained decoding से inference cost घटती है, जो edge deployment और MCQ-style tasks के लिए सीधे उपयोगी है।
Developer Nish Tahir ने 10 अक्टूबर 2026 को बताया कि Qwen3-1.7B जैसे LLM को constrained decoding से single-pass decision model में कैसे बदला जाए, जो A से E में से एक उत्तर चुने।
सामान्य language model JSON जैसा structured output देने के लिए हर token पर अलग pass करता है। एक 11-token response के लिए 11 passes चाहिए। Jev जैसे decision models इसे अलग तरह से हल करते हैं — वे output को सिर्फ कुछ तय विकल्पों (जैसे A, B, C, D, E) तक सीमित कर देते हैं और vocabulary के बाकी tokens को mask कर देते हैं। इससे model एक ही pass में उत्तर दे सकता है।
Tahir ने Qwen/Qwen3-1.7B मॉडल और Hugging Face Transformers library से यह तरीका Python में लागू किया। उनका code model के last token के logits लेता है, सिर्फ option tokens पर softmax चलाता है, और सबसे ज़्यादा probability वाला विकल्प चुनता है। "आसमान का रंग क्या है?" जैसे सरल सवाल पर model ने B (Blue) को 99.88% probability दी।
CommonsenseQA के random holdout sample पर परीक्षण में F1 score लगभग 0.59–0.64 रहा। Tahir ने यह भी स्पष्ट किया कि token probabilities को confidence score मानना भ्रामक हो सकता है — बिना अतिरिक्त training के ये scores असली सही उत्तर की probability नहीं, बल्कि अगले token की संभावना दर्शाते हैं। Speculative decoding जैसी inference optimization तकनीकें इस विश्लेषण में शामिल नहीं की गईं।