Microsoft Luncurkan ASSERT untuk Tes Perilaku AI Berbasis Teks
Judul asli: New Microsoft tool lets devs spin up AI behavior tests using text descriptions
Mengapa Ini Penting
Membantu standardisasi testing AI untuk aplikasi komersial yang aman dan dapat dipercaya
Microsoft memperkenalkan ASSERT, framework open source yang memungkinkan developer membuat tes perilaku AI menggunakan deskripsi bahasa alami untuk memastikan sistem AI berperilaku sesuai tujuan aplikasi spesifik.
Microsoft meluncurkan ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing), framework open source untuk mengevaluasi perilaku AI aplikasi-spesifik. ASSERT mengubah deskripsi bahasa natural tentang perilaku yang diharapkan menjadi tes terstruktur dengan skor. Sistem ini dapat menghasilkan skenario masalah, menjalankan tes, dan merekam jalur yang diambil AI termasuk tindakan perantara. Sarah Bird, Chief Product Officer Responsible AI Microsoft, menyatakan evaluasi sangat penting untuk memahami apakah sistem AI memenuhi standar organisasi. Framework ini mengisi celah yang tidak dapat dipenuhi evaluasi umum ketika AI perlu berperilaku sesuai konteks, kebijakan, dan tools aplikasi tertentu.