Model Murah Jev Capai Akurasi Opus dengan Biaya 4x Lebih Hemat
Judul asli: A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
Mengapa Ini Penting
Strategi hybrid LLM buka jalan efisiensi biaya evaluasi AI tanpa korbankan akurasi
Hightouch uji model keputusan Jev dan Luna untuk menilai identity resolution. Kombinasi Jev + Claude Opus capai akurasi setara frontier LLM dengan biaya 4x lebih rendah.
Tim Hightouch menguji apakah model keputusan cepat dan murah — Jev dan GPT-6 Luna — mampu menilai hasil identity resolution sebaik model frontier seperti Claude Opus. Hasilnya, keduanya cukup kompeten secara mandiri dengan akurasi 88,8–97,3%. Namun, pendekatan hybrid yang menggabungkan Jev dengan Claude Opus terbukti mencapai akurasi setara frontier, dengan biaya lebih dari 4x lebih rendah.
Beberapa temuan kunci: Luna mengungguli Jev secara out-of-the-box, tetapi selisihnya menghilang pada kasus yang lebih kompleks. Sebaliknya, kalibrasi kepercayaan diri Jev lebih baik — sebagian besar kesalahannya terjadi ketika model sendiri sudah ragu. Arsitektur hybrid memanfaatkan keunggulan ini: Jev menangani kasus mudah secara mandiri, lalu meminta bantuan Opus hanya saat tingkat kepercayaannya rendah. Identity resolution sendiri adalah proses menyatukan profil pengguna dari berbagai sumber data, dan menilai kualitasnya — terutama soal over-merging — termasuk tugas yang sulit diotomasi.