Jev+Opus: फ्रंटियर सटीकता, 4x कम लागत
मूल शीर्षक: A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
यह क्यों महत्वपूर्ण है
LLM-as-judge पद्धति में लागत और सटीकता का यह संतुलन बड़े पैमाने पर डेटा operations को सस्ता बना सकता है।
Hightouch ने परीक्षण किया कि Jev और GPT-6 Luna जैसे सस्ते मॉडल Identity Resolution को Claude Opus जितनी सटीकता से जाँच सकते हैं या नहीं। नतीजा: Jev+Opus हाइब्रिड मॉडल 4x कम लागत पर Opus-स्तरीय सटीकता देता है।
Hightouch के शोधकर्ताओं Albert Jin, Neil Desai और Delaney Mackenzie ने 4 नवंबर 2026 को यह परिणाम प्रकाशित किए। उन्होंने जाँचा कि क्या तेज़ और सस्ते decision models — Jev और GPT-6 Luna — Identity Resolution के परिणामों को उतनी ही अच्छी तरह grade कर सकते हैं जितना frontier LLM Claude Opus करता है।
शुरुआती परीक्षण में दोनों मॉडल ठीक-ठाक रहे — Jev और Luna दोनों ने 88.8% से 97.3% के बीच सटीकता दर्ज की। लेकिन असली फ़र्क कठिन मामलों में सामने आया। Luna आसान केसों में Jev से बेहतर रही, मगर जटिल केसों में दोनों का अंतर लगभग खत्म हो गया।
एक अहम खोज यह रही कि Jev की confidence calibration बेहतर है। जब Jev गलत होता है, तो वह अधिकतर कम confidence के साथ गलत होता है — यानी वह खुद अपनी गलती का संकेत देता है। इसी खासियत का इस्तेमाल करते हुए टीम ने एक हाइब्रिड मॉडल बनाया: Jev को primary evaluator रखा, और जब Jev को खुद यकीन न हो तो वह Claude Opus से मदद माँगता है। इस तरीके से Opus जैसी सटीकता मिली — और लागत 4 गुना से ज़्यादा घट गई।