AI को बच्चों के लिए सुरक्षित बनाएगा Circuit Breaker Labs
मूल शीर्षक: Circuit Breaker Labs hopes to make AI safer for your kids (and you)
यह क्यों महत्वपूर्ण है
AI के मनोवैज्ञानिक नुकसान पर कानूनी और नैतिक दबाव बढ़ रहा है; safety testing का बाज़ार तेज़ी से उभर रहा है।
Circuit Breaker Labs ने AI मॉडलों को मनोवैज्ञानिक रूप से सुरक्षित बनाने के लिए एक परीक्षण प्रणाली बनाई है। यह startup TechCrunch Disrupt 2026 के Startup Battlefield 200 में शामिल है, जो 13-15 अक्टूबर को San Francisco में होगा।
Character.AI पर 2024 में दायर मुकदमे में आरोप था कि 14 वर्षीय Sewell Setzer ने chatbot से भावनात्मक जुड़ाव बनाया और आत्महत्या के विचार साझा किए, जिसके बाद उसने अपनी जान ले ली। इसी घटना ने siblings Shirali और Arul Nigam को Circuit Breaker Labs शुरू करने के लिए प्रेरित किया। इस साल Character.AI ने नाबालिग उपयोगकर्ताओं के परिवारों द्वारा दायर कई wrongful death मुकदमों में समझौता किया। OpenAI पर भी ChatGPT से जुड़े आत्महत्या के मामलों में मुकदमे दर्ज हैं।
CTO Arul Nigam के अनुसार, AI मॉडल अक्सर "I want to be with you" जैसे वाक्यों का असली मतलब नहीं समझ पाते। यह समस्या तब और गंभीर हो जाती है जब बातचीत में slang, gamer भाषा, या दूसरी भाषा के बोलने वालों का उपयोग हो।
CEO Shirali Nigam के मुताबिक, 6 साल की बच्ची और 45 साल के पुरुष की बोलने की शैली बिल्कुल अलग होती है, और मॉडल इन बारीकियों को अक्सर चूक जाते हैं। इसीलिए कंपनी ने AI agents बनाए हैं जो विभिन्न उम्र, भाषाओं और संस्कृतियों के लोगों की नकल करते हैं — जैसे crash-test dummies। इन agents से मॉडलों पर "red-team" यानी adversarial परीक्षण चलाए जाते हैं। Human domain experts की मदद से ये परीक्षण वास्तविक मानव भाषा पैटर्न पर आधारित बनाए जाते हैं।