Bangun Model Keputusan Sendiri dengan LLM
Judul asli: Build your own decision model
Mengapa Ini Penting
Efisiensi inferensi satu pass membuka peluang deployment AI lebih hemat biaya di edge device.
Nish Tahir mendemonstrasikan cara membangun decision model menggunakan Qwen3-1.7B dengan teknik constrained decoding untuk menjawab pilihan ganda dalam satu pass inferensi.
Tidak seperti language model biasa yang membutuhkan beberapa pass untuk menghasilkan output token demi token, decision model bekerja dengan satu pass tunggal. Caranya: hanya token yang mewakili opsi jawaban (A, B, C, D, E) yang diizinkan keluar — token lain dimasker. Hasilnya dipilih berdasarkan probabilitas tertinggi.
Tahir mengimplementasikan pendekatan ini menggunakan model open-source Qwen/Qwen3-1.7B lewat library Transformers. Kode-nya membaca soal dalam format JSON, memformat prompt, lalu mengambil logits hanya untuk token opsi yang valid sebelum menerapkan softmax.
Pada pertanyaan sederhana "Apa warna langit?", model memberi probabilitas 99,88% untuk jawaban B (Biru). Ketika diuji pada sampel acak dataset CommonsenseQA, hasilnya menunjukkan F1-score antara 0,59 hingga 0,64 untuk opsi A, B, dan C.
Satu catatan penting: probabilitas output tidak otomatis mencerminkan keyakinan model bahwa jawabannya benar — tanpa pelatihan tambahan, angka itu lebih menggambarkan prediksi token berikutnya secara statistik.