Tim Claude Code Ungkap Strategi Verifikasi Kode AI
Judul asli: How the Claude Code team thinks about verification
Mengapa Ini Penting
Verifikasi otomatis adalah kunci skalabilitas deployment agen AI dalam produksi nyata.
Tim Claude Code menulis ~90% kode mereka dengan Claude. Verifikasi terstruktur terbukti meningkatkan keberhasilan tugas hingga 10 poin dibanding loop prompting biasa.
Di skala di mana sekitar 90% kode ditulis dan ditinjau oleh Claude, cara tim membekali agen untuk memverifikasi hasil kerjanya menjadi sangat kritis. Tanpa loop verifikasi, pengawas manusia hanya bisa menjalankan satu atau dua agen Claude secara bersamaan. Dengan verifikasi otomatis, puluhan hingga ratusan agen bisa berjalan paralel.
Dalam pengujian internal untuk generasi file terstruktur, penggunaan grader terpisah yang mengevaluasi hasil Claude berdasarkan rubrik meningkatkan keberhasilan tugas hingga 10 poin dibanding loop prompting standar — dengan gain terbesar pada masalah paling kompleks.
Tim menyoroti tiga jenis tes paling bernilai. Pertama, end-to-end (E2E) tests — prioritas utama karena sulit diakali: fitur bekerja atau tidak. E2E juga menghasilkan bukti visual seperti screenshot saat terjadi kegagalan. Kedua, property tests yang memeriksa invariant di ribuan kasus input acak. Ketiga, differential tests yang membandingkan output implementasi baru dengan versi lama atau referensi.
Penting juga menjaga "verifier tetap jujur" — menghindari tes yang flaky (melatih agen untuk mengulang, bukan memperbaiki) dan tes yang terlalu lambat. Hasil verifikasi juga bisa diumpankan balik: jika agen berulang kali gagal tes tertentu, tim membuat hook atau aturan eksplisit di CLAUDE.md agar masalah serupa tidak terulang.