Jeff: Model 0.8B buat keputusan dalam 30 ms
Judul asli: Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Mengapa Ini Penting
Model kecil sebagai penyaring keputusan bisa tekan biaya inferensi skala produksi secara drastis.
Jeff, model open-source 0.8B bernama 'System 1', mampu membuat keputusan dalam ~30 ms dengan akurasi 95,3% saat dikombinasikan dengan model 27B, 38× lebih cepat.
Jeff adalah model bahasa ringan berukuran 0,8 miliar parameter yang dirancang khusus untuk pengambilan keputusan cepat — bukan untuk menulis atau merencanakan. Konsepnya sederhana: biarkan model besar seperti Qwen3.8-27B menangani tugas berat, sementara Jeff bertugas sebagai penyaring di depannya. Jika Jeff yakin dengan jawabannya, query selesai di sana. Jika tidak, baru diteruskan ke model 27B.
Hasilnya signifikan. Dalam pengujian pada 8 adapter, kombinasi Jeff + Qwen3.8-27B mencatat akurasi rata-rata 95,3%, dibanding 86,6% jika Qwen3.8-27B bekerja sendirian. Waktu per keputusan turun dari 8,1 detik menjadi 0,25 detik — 38 kali lebih cepat. Jumlah jawaban salah pun berkurang 2,8 kali lipat.
Jeff menggunakan arsitektur LoRA adapter yang bisa ditukar sesuai domain, dilatih di hardware pribadi, dan kompatibel dengan format Jev. Proyek ini kini dalam status community preview versi 1.2 dengan sembilan adapter tersedia. Versi base stabil v1.3 dijadwalkan rilis sekitar 36 jam setelah pengumuman, dan adapter resmi akan dilatih ulang setelahnya. Data set yang dibuat mengikuti panduan resmi diklaim bisa digunakan lintas versi base.