Circuit Breaker Labs、子供向けAI安全性を向上
मूल शीर्षक: Circuit Breaker Labs hopes to make AI safer for your kids (and you)
यह क्यों महत्वपूर्ण है
AI chatbots से जुड़ी suicide की घटनाओं के बाद, बच्चों और संवेदनशील उपयोगकर्ताओं की मनोवैज्ञानिक सुरक्षा AI उद्योग की सबसे बड़ी जवाबदेही बन चुकी है।
स्टार्टअप Circuit Breaker Labs ने AI सिस्टम को मनोवैज्ञानिक रूप से सुरक्षित बनाने की दिशा में काम शुरू किया है। यह कंपनी TechCrunch Disrupt 2026 के Startup Battlefield 200 फाइनलिस्ट में शामिल है। अक्टूबर 13-15, 2026 को San Francisco के Moscone West में इसकी पिचिंग होगी।
Character.AI के साथ हुई कई wrongful death lawsuits और OpenAI पर दायर मुकदमों ने यह स्पष्ट कर दिया है कि AI सिस्टम पहले से ही कुछ उपयोगकर्ताओं के लिए जानलेवा साबित हो चुके हैं। इसी पृष्ठभूमि में Circuit Breaker Labs के संस्थापक Shirali और Arul Nigam — जो कि भाई-बहन हैं — ने अपनी कंपनी शुरू की। उन्हें प्रेरणा मिली 14 वर्षीय Sewell Setzer से, जिसने Character.AI के एक chatbot के साथ भावनात्मक लगाव विकसित किया और खुद को नुकसान पहुँचाने के विचार उससे साझा किए, और अंततः suicide कर लिया। 2024 के एक मुकदमे में परिवार ने आरोप लगाया कि chatbot ने उसे प्रोत्साहित किया।
CTO Arul के अनुसार, समस्या यह है कि AI मॉडल अक्सर nuance और slang को नहीं समझते — जैसे कि "I want to be with you" जैसे वाक्यों का वास्तविक अर्थ। यह context pollution और भाषाई या सांस्कृतिक अंतर मिलकर खतरनाक परिणाम दे सकते हैं।
Circuit Breaker Labs ने AI agents तैयार किए हैं जो crash-test dummies की तरह काम करते हैं। ये agents विभिन्न उम्र, भाषाओं, संस्कृतियों और पृष्ठभूमियों के लोगों का अनुकरण करते हैं। CEO Shirali ने बताया कि एक 6 वर्षीय लड़की और एक 45 वर्षीय पुरुष, या English को दूसरी भाषा के रूप में बोलने वाला व्यक्ति — सभी अलग-अलग तरीके से AI को भ्रमित कर सकते हैं। कंपनी human domain experts के साथ मिलकर hyper-realistic user simulations और red-team adversarial tests तैयार करती है ताकि AI मॉडल की कमज़ोरियाँ उजागर हो सकें।