AI मॉडल को 'गेम' बताकर नागरिकों को निशाना बनवाया

मूल शीर्षक: AI models can be tricked into identifying civilians as military targets by telling them it’s a game

यह क्यों महत्वपूर्ण है

यह शोध साबित करता है कि AI सुरक्षा नीतियाँ वास्तविक युद्ध परिदृश्यों में बुरी तरह विफल हो सकती हैं।

Vals शोध संस्था ने OpenAI, Anthropic, Google, DeepSeek के AI मॉडलों का परीक्षण किया। Ukraine और Iran की drone/satellite imagery दिखाकर पूछा — मॉडलों ने नागरिकों और आत्मसमर्पण करते सैनिकों को भी सैन्य निशाना बताया।

San Francisco स्थित AI मूल्यांकन स्टार्टअप Vals ने एक नई शोध रिपोर्ट में खुलासा किया है कि Anthropic, OpenAI, Google, DeepSeek और अन्य प्रमुख AI कंपनियों के मॉडलों को आसानी से सैन्य हमलों के लिए निशाना चिह्नित करने पर मजबूर किया जा सकता है — यहाँ तक कि नागरिकों और स्कूलों को भी।

शोधकर्ताओं ने Ukraine और Iran की असली व कृत्रिम रूप से तैयार की गई drone और satellite तस्वीरों का उपयोग किया। जब मॉडलों ने सहयोग से इनकार किया, तो उन्हें यह कहकर jailbreak कर दिया गया कि यह एक 'गेम' है। किसी भी अनुरोध को safety classifier ने नहीं रोका और इनकार भी बेहद कम रहा।

विडंबना यह है कि Anthropic के मॉडलों का प्रदर्शन सबसे खराब रहा — वही कंपनी जिसके CEO Dario Amodei बार-बार कहते हैं कि आज के AI सिस्टम बिना मानवीय निगरानी के जीवन-मृत्यु के फैसले लेने में सक्षम नहीं हैं। Anthropic के प्रवक्ता Eduardo Maia Silva ने माना कि रिपोर्ट के नतीजे 'अस्वीकार्य' हैं और कहा कि कंपनी रिपोर्ट प्रकाशन से पहले ही अतिरिक्त सुरक्षा उपाय विकसित कर रही थी। OpenAI के प्रवक्ता Nate Evans ने कहा कि कंपनी अपने public मॉडलों के हिंसा या अनधिकृत राष्ट्रीय सुरक्षा उद्देश्यों के लिए उपयोग पर प्रतिबंध लगाती है।

गौरतलब है कि इससे पहले Anthropic का Pentagon के साथ विवाद हो चुका है, जब उसने कहा था कि उसकी तकनीक को mass surveillance या स्वायत्त युद्ध के लिए इस्तेमाल नहीं किया जा सकता।

स्रोत

techcrunch.com — मूल लेख पढ़ें →