Evaluator AI Bawaan Bukan Solusi Mudah, Kata Hugging Face
Judul asli: Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
Mengapa Ini Penting
Standar evaluasi AI yang lemah berisiko memberi rasa aman palsu kepada industri dan regulator.
Irene Solaiman, kepala kebijakan Hugging Face, menyatakan evaluator AI bawaan belum siap jadi solusi andal karena standarisasi kualifikasi masih sangat kurang.
Dalam diskusi di TechCrunch Disrupt, Irene Solaiman dari Hugging Face menegaskan bahwa sistem benchmarking model AI masih jauh dari ilmu yang matang. Reprodusibilitas hasil evaluasi tetap menjadi masalah utama — tanpa akses memadai ke model itu sendiri, kepercayaan terhadap hasil tes sulit dibangun. "Trust adalah istilah yang sangat berat," ujar Solaiman. "Apakah kamu bisa mereproduksi hasil evaluasi? Apakah kamu punya akses yang cukup ke modelnya?" tanya dia, seraya menyebut open weights sebagai faktor kunci.
Solaiman juga menyoroti bahwa evaluasi antar-tes belum bisa dibandingkan secara bermakna dan cepat menjadi tidak efektif. Tren "embedded evaluator" — pengamat pihak ketiga yang ditempatkan di dalam organisasi AI — kini sedang naik daun, tapi kualifikasi untuk menentukan siapa evaluator yang efektif belum terstandarisasi. Langkah Anthropic menunjuk Accenture sebagai evaluator pertamanya menuai kritik keras. Selain itu, evaluasi kini tidak hanya menguji model, tapi seluruh sistemnya — termasuk harness (alat akses pengguna). Model lemah dengan harness lebih baik bisa mengalahkan model frontier sekalipun.