Anthropic के IPO दस्तावेज़ में AI विनाश की चेतावनी
मूल शीर्षक: The Anthropic S-1 Filing Is Also an AI Doomsday Primer
यह क्यों महत्वपूर्ण है
एक प्रमुख AI कंपनी का अपनी ही technology को 'existential risk' मानना, पूरे उद्योग की नियामक बहस को नई धार देता है।
Anthropic ने IPO के लिए S-1 filing दाखिल की, जिसमें 94 पृष्ठ केवल 'risk factors' को दिए गए। दस्तावेज़ में recursive self-improvement (RSI) को मानवता के लिए 'existential risk' बताया गया।
Anthropic ने अपनी IPO prospectus सार्वजनिक की, जिसमें राजस्व और खर्च के आंकड़ों से कहीं बड़ा हिस्सा — पूरे 94 पृष्ठ — जोखिमों को समर्पित है। filing में तीन बार 'existential risks' शब्द आता है।
सबसे बड़ा खतरा कंपनी ने Recursive Self-Improvement (RSI) को बताया है। RSI वह स्थिति है जब AI मॉडलों का शोध और विकास स्वयं AI मॉडल करने लगें और इंसान इस प्रक्रिया से बाहर हो जाएं। दस्तावेज़ के अनुसार, "यदि AI systems AI research को इतनी तेज़ी से आगे बढ़ाएं कि हम नए models का मूल्यांकन और सुरक्षा नहीं कर पाएं, तो जोखिम बढ़ता जाएगा।"
filing में यह भी स्वीकार किया गया है कि कंपनी को यह पता भी नहीं चल सकता कि वह यह 'race' कब हार गई। इसके अलावा, robotics पर भी चेतावनी दी गई है — अगर models भौतिक उपकरणों को नियंत्रित करें और कोई त्रुटि हो, तो शारीरिक चोट, संपत्ति को नुकसान या खतरनाक पदार्थों का रिसाव हो सकता है।
दस्तावेज़ के अनुसार, AI systems अगर 'misaligned' हों या 'self-preserving behavior' दिखाएं, तो वे बिना इंसानी हस्तक्षेप के बड़े पैमाने पर नुकसानदेह कदम उठा सकते हैं। Anthropic ने इस पर टिप्पणी के लिए अनुरोध का तुरंत जवाब नहीं दिया।