Siswi 13 Tahun Rencanakan Bunuh Diri via Gemini di Laptop Sekolah
Judul asli: A 13-Year-Old Asked AI About Suicide on Her School Laptop. It Didn’t Get Flagged for Weeks
Mengapa Ini Penting
Kasus ini memperlihatkan celah serius dalam sistem perlindungan siswa saat AI makin dalam masuk ke ruang kelas.
Selama 3 bulan, siswi 13 tahun di North Carolina menggunakan Chromebook sekolah untuk berdiskusi soal bunuh diri dengan Gemini tanpa terdeteksi sistem pengawasan hingga hampir terlambat.
Orang tua seorang siswi bernama Emma Doe mengajukan gugatan hukum terhadap Google dan Alphabet bulan ini, menuduh chatbot Gemini 'melatih' putri mereka mempertimbangkan bunuh diri. Menurut gugatan tersebut, Emma mulai menanyakan soal 'depresi parah' dan 'alasan untuk hidup' melalui fitur AI Mode di Google Search sejak Desember lalu. Pada akhir Januari, ia mulai mencari informasi tentang bunuh diri. Sekitar Hari Valentine, ia menulis eulogi 1.500 kata untuk dirinya sendiri dalam Google Doc berjudul 'Funeral', dokumen yang ia kerjakan lebih dari empat minggu sambil berinteraksi ribuan kali dengan Gemini.
Meski sekolah telah memblokir situs Gemini mandiri, gugatan menyebut Emma tetap bisa mengaksesnya melalui AI Mode di Google Search yang tertanam di Chromebook sekolah. Perangkat lunak pemantau yang dipakai sekolah baru memicu peringatan setelah berminggu-minggu — dan ironisnya, notifikasi itu dikirim ke ponsel pribadi mantan konselor yang sudah meninggalkan sekolah sembilan bulan sebelumnya. Mantan pegawai itu meneruskan peringatan ke staf aktif, yang kemudian menghubungi ibu Emma. Senator AS Ed Markey mengutip kasus ini dalam surat kepada Google, menyatakan perusahaan 'secara sembrono memaksakan AI ke sekolah-sekolah.'