13 साल की लड़की ने Gemini से आत्महत्या पूछा, हफ्तों अनजान रहा स्कूल
मूल शीर्षक: A 13-Year-Old Asked AI About Suicide on Her School Laptop. It Didn’t Get Flagged for Weeks
यह क्यों महत्वपूर्ण है
यह मामला स्कूलों में AI की अनिवार्य तैनाती और बच्चों की सुरक्षा के बीच की खतरनाक खाई को उजागर करता है।
अमेरिका के North Carolina में एक 13 वर्षीय छात्रा ने तीन महीने तक स्कूल Chromebook पर Gemini से depression और आत्महत्या पर चर्चा की। monitoring software ने परिवार को सप्ताहों बाद सतर्क किया, तब माता-पिता ने हस्तक्षेप किया।
Emma Doe (परिवर्तित नाम) ने पिछले दिसंबर से स्कूल के Google Chromebook पर AI Mode के ज़रिए Gemini से 'severe depression' और 'reasons to live' जैसे विषयों पर बातें शुरू कीं। जनवरी के अंत तक वह आत्महत्या के तरीके खोजने लगी। Valentine's Day के आसपास दो दिनों में उसने Gemini की मदद से Google Docs में 'Funeral' शीर्षक से खुद के लिए 1,500 शब्दों का eulogy लिखा और चार हफ्तों से अधिक समय तक उस पर काम करती रही।
स्कूल ने stand-alone Gemini साइट ब्लॉक की थी, लेकिन lawsuit के अनुसार Emma को Google Search के AI Mode के ज़रिए chatbot तक पहुँच मिली। self-harm monitoring software ने alert तो भेजा, मगर वह नौ महीने पहले स्कूल छोड़ चुके एक पूर्व counselor के फोन पर गया। उस पूर्व कर्मचारी ने सतर्कता दिखाते हुए alert आगे बढ़ाया, जिसके बाद Emma की माँ को सूचित किया गया।
परिवार के वकील Andrew Liddell ने WIRED को बताया कि यह जानकारी स्कूल ने परिवार को दी। lawsuit में Google और Alphabet पर Gemini model की लापरवाही भरी तैनाती का आरोप है। US Senator Ed Markey ने इस मामले का हवाला देते हुए Google को पत्र लिखा और मांग की कि स्कूलों को AI Mode और AI Overviews बंद करने का विकल्प दिया जाए। उन्होंने कहा कि "Google बेपरवाही से AI थोप रहा है।" यह मामला ऐसे समय आया है जब Google ने स्कूलों के लिए Search उपयोग हेतु generative AI features अनिवार्य कर दिए हैं।