ATS HackerRank Skor Resume Berbeda Setiap Kali
Judul asli: HackerRank open sourced its ATS. My resume scored 90/100. Oh wait 74. No – 88
Mengapa Ini Penting
Mengungkap kelemahan kritis ATS berbasis LLM dalam konsistensi penilaian yang berdampak pada keadilan rekrutmen teknologi.
HackerRank merilis ATS open-source yang menilai resume dengan skor berbeda-beda. Resume sama dijalankan 100 kali menghasilkan skor 66-99, padahal model menggunakan temperature 0.1 untuk konsistensi deterministik.
HackerRank baru-baru ini membuka sumber Applicant Tracking System (ATS) yang mendapat perhatian di LinkedIn dan Reddit. Pengujian menunjukkan masalah signifikan: resume yang sama ketika dijalankan berkali-kali menghasilkan skor vastly berbeda. Dalam 100 kali eksekusi, skor berkisar dari 66 hingga 99 poin. Jika perusahaan menetapkan cutoff di 85, pelamar akan gagal 65% dari waktu dengan resume identik.
Sistem bekerja dengan mengubah PDF menjadi teks, memanggil LLM enam kali untuk ekstrak informasi terstruktur (dasar, riwayat kerja, pendidikan, keterampilan, proyek, penghargaan), mengambil profil GitHub, dan memberikan penilaian keseluruhan. Penilaian tersusun dari 35 poin kontribusi open-source, 30 proyek pribadi, 25 pengalaman kerja, 10 keterampilan teknis, dan hingga 20 bonus untuk pengalaman startup atau portfolio.
Analisis kategori individual mengungkap penyebab variasi. Keterampilan teknis konsisten 8/10 dalam 98 dari 100 eksekusi karena merupakan checklist sederhana. Namun proyek menunjukkan variasi BESAR—LLM berjuang membuat penilaian konsisten tentang "kompleksitas arsitektur" atau "deployment real-world". Pengalaman kerja paradoksial: selalu 25/25 meskipun prompt hanya dua baris tanpa rubrik atau contoh. Model default gemma3:4b berjalan pada temperature 0.1, tetapi bahkan temperature 0 tidak mengatasi non-determinisme ini. Ini bukan bug yang dapat dioptimalkan tetapi flaw desain fundamental dalam arsitektur ATS.