EBR: Inferensi 345x Lebih Efisien untuk Penalaran

Judul asli: Energy-Based Reasoners: 385x more efficient inference

Mengapa Ini Penting

Efisiensi 345× buka peluang deployment model penalaran di perangkat terbatas sumber daya.

Peneliti Duke, UIUC, dan Harvard memperkenalkan Energy-Based Reasoners (EBR), model penalaran 1,8 juta parameter yang capai akurasi 99,9% di Sudoku-Extreme dengan komputasi inferensi 345× lebih rendah.

Tim peneliti dari Duke University, UIUC, dan Harvard University memperkenalkan Energy-Based Reasoners (EBR), pendekatan baru untuk model penalaran rekuren. EBR mempelajari fungsi energi atas latent reasoning states, lalu memformulasikan pembaruan berulang sebagai gradient descent pada energi tersebut.

Problema utama model looped konvensional adalah tidak adanya ukuran kemajuan eksplisit—model tidak tahu kapan harus berhenti atau cara memperbaiki kondisi saat ini. EBR menjawab ini: nilai energi menilai kompatibilitas antara reasoning state dan input, gradiennya mengarahkan perbaikan, dan norma gradien menjadi sinyal penghentian alami.

Hasilnya signifikan secara kuantitatif. Dengan hanya 1,8 juta parameter, EBR mencapai akurasi 99,9% pada benchmark Sudoku-Extreme—melampaui model sebelumnya seperti Looped Flows (97,9%) dan FPRM (94,2%)—sambil menggunakan 345× lebih sedikit komputasi inferensi dibanding model terbaik berikutnya. Pada benchmark N-Queens dan Graph Coloring, EBR mencapai state-of-the-art dalam cakupan solusi valid berbeda sambil mempertahankan akurasi single-sample mendekati 100%.

Tim juga memperkenalkan exploration-based training untuk menemukan mode tambahan dan membentuk lanskap energi lebih luas. Penghentian adaptif memungkinkan puzzle mudah selesai dalam beberapa langkah, sementara puzzle sulit terus diproses lebih lama.

Sumber

energy-based-reasoners.github.io — Baca artikel asli →