Model Bahasa Bisa Tulis Ulang Bobotnya Sendiri
Judul asli: Language Models Can Rewrite Their Own Weights
Mengapa Ini Penting
Membuka jalur baru menuju recursive self-improvement tanpa infrastruktur pelatihan besar.
Riset arXiv ungkap model 27B parameter mampu menulis ulang bobotnya sendiri tanpa gradien atau pelatihan ulang, meningkatkan akurasi 6,6 poin pada soal yang belum pernah dilihat.
Tim peneliti yang dipimpin Jiajun Fan mempublikasikan makalah di arXiv pada 16 November 2026, memperkenalkan konsep 'self-rewriting': sebuah model bahasa bertindak sebagai optimizernya sendiri. Berbeda dari fine-tuning atau rekayasa prompt, model open-source berukuran 27B parameter ini diberi akses ke bobotnya sendiri, jawaban yang telah dinilai, dan kemampuan menjalankan dirinya sendiri. Dari situ, model mendiagnosis kegagalannya lalu menulis ulang bobot yang bermasalah.
Hasilnya terukur: akurasi naik 6,6 poin pada soal baru. Selama delapan sesi berturut-turut, akurasi terus meningkat karena model hanya menyimpan edit yang lolos uji soal latihan. Lebih jauh, model berhasil memperbaiki salinannya yang rusak—tanpa membaca bobot asli—hingga mencapai lebih dari 80% akurasi pada tugas gambar yang sebelumnya tidak dikenali. Kemampuan ini hanya muncul pada model terbesar dalam satu keluarga; model yang lebih kecil gagal atau merusak dirinya sendiri.
Para peneliti berargumen bahwa batas antara pelatihan dan inferensi adalah keterbatasan alat, bukan sifat kecerdasan itu sendiri. Self-rewriting hanya butuh forward pass, tanpa biaya tambahan per jawaban seperti pada test-time scaling.