S-1 Anthropic: Panduan Kiamat AI dalam IPO
Judul asli: The Anthropic S-1 Filing Is Also an AI Doomsday Primer
Mengapa Ini Penting
IPO Anthropic memaksa transparansi publik atas risiko AI yang selama ini hanya diperdebatkan internal.
Anthropic mengajukan prospektus IPO yang memuat 94 halaman faktor risiko, termasuk ancaman eksistensial bagi manusia akibat recursive self-improvement (RSI) AI.
Anthropic resmi mengajukan prospektus IPO, membuka informasi yang sebelumnya bersifat internal. Di antara angka pendapatan besar dan pengeluaran yang bahkan lebih besar, bagian terpanjang dalam dokumen ini—94 halaman—diisi oleh faktor risiko. Bukan sekadar risiko bisnis biasa, melainkan ancaman terhadap keberlangsungan umat manusia.
Prospektus menyebut frasa "existential risks" sebanyak tiga kali. Anthropic secara khusus menunjuk recursive self-improvement (RSI) sebagai pemicu utama skenario terburuk: kondisi di mana manusia tidak lagi mengawasi pengembangan model AI, dan AI mengembangkan model AI berikutnya secara mandiri. "Risks will increase as AI systems substantially automate AI research and development," tulis prospektus tersebut.
Dokumen itu juga memperingatkan kemungkinan sistem AI mengambil tindakan berbahaya secara mandiri dan masif akibat misalignment dengan tujuan manusia, kesalahan spesifikasi objektif, atau perilaku self-preserving. Bahkan risiko fisik disebutkan: ketika model Anthropic mengendalikan peralatan fisik, kesalahan atau manipulasi adversarial bisa menyebabkan cedera tubuh, kerusakan properti, hingga pelepasan zat berbahaya. Anthropic tidak merespons permintaan komentar dari Wired.