Goodfire: Neuron di neural network sudah bersih
Judul asli: Neural networks are clean
Mengapa Ini Penting
Temuan ini bisa mengubah arah riset interpretabilitas AI secara mendasar.
Peneliti Goodfire Nick Cammarata menyimpulkan bahwa neuron di neural network sudah bisa dibaca langsung — tanpa perlu sparse autoencoder — setelah studi mendalam pada model vision dan language.
Nick Cammarata dari Goodfire menerbitkan esai riset berjudul 'Neural Networks Are Already Clean', yang menantang asumsi utama dalam bidang mechanistic interpretability. Selama ini, komunitas riset percaya bahwa neuron bersifat 'polysemantic' — satu neuron memiliki banyak fungsi tidak berkaitan — akibat fenomena bernama superposition: jaringan yang kehabisan neuron terpaksa melipat konsep-konsep tidak berkaitan ke dalam satu neuron.
Cammarata berargumen bahwa bukti kanonikal superposition, termasuk neuron terkenal di InceptionV1 yang merespons wajah kucing sekaligus bagian depan mobil, telah dibaca keliru. Penyebab sebenarnya bukan superposition, melainkan masalah arsitektur dan alat interpretabilitas yang lemah yang membuat lapisan akhir model tampak kacau.
Buktinya cukup tajam: dengan perbaikan arsitektur biasa — tanpa menambah ukuran model atau data pelatihan — 99–100% neuron di lapisan terakhir InceptionV1 kini dapat diinterpretasikan dengan mudah. Cammarata menyebut pola yang sebenarnya terjadi sebagai 'recursive generalization', yang jauh kurang mengkhawatirkan dibanding superposition.
Implikasinya besar: peneliti bisa mempelajari jaringan secara langsung, tanpa harus melatih model kedua seperti sparse autoencoder untuk mengurai 'simpul'. Menurut Cammarata, neuron dan sirkuit jaringan itu sendiri adalah blok bangunan yang sudah bisa dibaca — bahkan pada model dengan triliunan parameter.