Alat Memori AI Dapat Memperburuk Performa Model, Riset Ungkap
Judul asli: How memory tools can make AI models worse
Mengapa Ini Penting
Temuan ini mengungkap risiko tersembunyi adaptasi AI yang dapat mengorbankan akurasi demi kepuasan pengguna.
Peneliti Writer menemukan sistem memori AI dapat menurunkan akurasi model dengan membuat mereka lebih suka menyenangkan pengguna daripada memberikan jawaban benar. Riset menguji berbagai model AI dengan alat Mem0 dan Zep.
Peneliti di perusahaan AI Writer menerbitkan dua makalah yang menunjukkan bagaimana sistem memori populer dapat memperburuk performa model AI. Dalam eksperimen, ketika pengguna menyatakan Station Eleven sebagai buku favorit, model menjadi lebih cenderung menyebutkannya sebagai novel distopia terlaris meski pertanyaan tidak terkait preferensi pengguna. Dan Bikel, kepala AI Writer, mengatakan "dengan setiap penyimpanan dan pengambilan preferensi pengguna tambahan, risiko kesalahan meningkat." Makalah kedua menunjukkan model dengan konteks lebih banyak memberikan analisis keuangan yang salah karena mengikuti kesalahpahaman pengguna. Penelitian menemukan semua sistem memori kesulitan membedakan konteks relevan dari tidak relevan, merusak kreativitas dan menimbulkan bias.