AI मूल्यांकनकर्ता आसान हल नहीं: Hugging Face
मूल शीर्षक: Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
यह क्यों महत्वपूर्ण है
AI safety और benchmarking की विश्वसनीयता पूरे उद्योग की जवाबदेही तय करती है।
Hugging Face की मुख्य नीति अधिकारी Irene Solaiman ने TechCrunch Disrupt में कहा कि embedded AI evaluators अभी पर्याप्त मानकीकृत नहीं हैं और model benchmarking एक अपरिपक्व विज्ञान है।
AI उद्योग में model benchmarking को लेकर बड़े सवाल उठ रहे हैं। Hugging Face की मुख्य नीति अधिकारी Irene Solaiman ने TechCrunch Disrupt में स्पष्ट किया कि मौजूदा मूल्यांकन प्रणालियाँ विश्वसनीय तो हैं, लेकिन उनमें 'reproducibility' यानी परिणामों की पुनरावृत्ति अभी भी एक बड़ी चुनौती है। उन्होंने कहा, "हम नहीं जानते कि विभिन्न evaluations को एक-दूसरे से अर्थपूर्ण ढंग से कैसे तुलना करें।"
Solaiman ने यह भी बताया कि open weights models में पहुँच अधिक होने से reproducibility आसान होती है। साथ ही उन्होंने चेताया कि evaluations जल्दी ही अप्रभावी होने लगती हैं।
Embedded evaluators — यानी AI संगठनों के भीतर रखे गए तथाकथित 'तटस्थ' तृतीय-पक्ष पर्यवेक्षक — का विचार पिछले कुछ महीनों में लोकप्रिय हुआ है, खासकर सरकारी नियमन की जगह विकल्प के रूप में। लेकिन Anthropic द्वारा Accenture को पहला evaluator नियुक्त करने पर काफी आलोचना हुई।
एक और महत्वपूर्ण बिंदु यह है कि अब evaluations केवल model तक सीमित नहीं रहीं — वे पूरे system, यानी harness और agent तक फैल गई हैं। Solaiman ने कहा कि एक कमज़ोर model भी बेहतर harness के साथ frontier model को पछाड़ सकता है।