LLM Bisa Baca-Tulis Bobot Model AI Secara Langsung
Judul asli: Astra can read and write weights to improve Qwen
Mengapa Ini Penting
Optimasi bobot oleh LLM bisa mengubah cara model AI diperbaiki tanpa pelatihan ulang.
Riset MIT CSAIL: GPT-6 Astra mampu membaca dan menulis bobot jaringan saraf secara langsung, memperbaiki Qwen3.5-0.8B dari skor MATH-500 7,9% menjadi 48,1% hanya dengan mengubah 0,016% bobot.
Peneliti dari MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang, dan Omar Khattab — mempublikasikan temuan awal yang mereka sebut Weight-Space Programming pada 2 November 2026. Inti temuannya: model frontier seperti GPT-6 Astra ternyata jauh lebih baik dalam memahami dan memanipulasi bobot jaringan saraf dibanding yang selama ini diasumsikan.
Dalam satu eksperimen, Astra hanya diberi 17.253 bobot mentah tanpa konteks apapun, lalu berhasil mengidentifikasi bahwa jaringan tersebut dilatih untuk bermain Breakout dengan keyakinan 99%. Pada eksperimen lain, Astra menulis dari nol jaringan kecil untuk bermain game yang mengalahkan jaringan yang dilatih dengan PPO selama 100 juta langkah — tanpa umpan balik lingkungan.
Yang paling mencolok adalah perbaikan pada Qwen3.5-0.8B. Astra mengidentifikasi cacat di bobot model yang menyebabkan reasoning loops — kelemahan yang bahkan sudah disebutkan di model card resmi Qwen. Dengan mengedit hanya 0,016% bobot tanpa training loop, skor MATH-500 naik dari 7,9% ke 48,1%. Efeknya juga meluas ke instruction following: skor IFEval naik tiga kali lipat. Semua ini dilakukan tanpa gradient descent.