L'ATS open source de HackerRank donne des scores instables
Original : HackerRank open sourced its ATS. My resume scored 90/100. Oh wait 74. No – 88
Pourquoi c'est important
Révèle comment les outils d'IA en recrutement créent de l'injustice systémique en rendant les évaluations aléatoires.
HackerRank a publié un outil de sélection de candidats open source qui évalue les CV sur 100 points. Un testeur a découvert que le même CV reçoit des scores différents à chaque exécution (66 à 99), révélant une incohérence fondamentale due à l'utilisation d'un modèle de langage.
HackerRank a récemment ouvert son outil ATS (Applicant Tracking System) sur GitHub, suscitant beaucoup d'intérêt sur les réseaux sociaux. Lors des tests, le même CV a reçu des scores variant de 66 à 99 sur 100 points, utilisant le modèle gemma3:4b à température 0,1. L'analyse révèle deux problèmes majeurs : certaines catégories comme les compétences techniques restent cohérentes (8/10 dans 98% des cas) car elles reposent sur des listes de contrôle simples. En revanche, la catégorie « projets » montre une énorme variation, l'IA donnant tantôt des évaluations positives, tantôt négatives sur les mêmes projets. La catégorie expérience professionnelle affiche une cohérence trompeuse (25/25 systématiquement) mais manque de critères clairs. Le rubric ne contient que deux lignes sans exemples ni points de référence pour différencier un junior d'un expert. Des tests à température 0 n'ont pas résolu le problème fondamental. Même avec Gemini, les scores se resserrent (48-64) mais restent instables pour les décideurs avec un seuil de 60 points.