IA inexplicable : quand l'échec devient la norme
Original : The Normalization of Inexplicable Failures
Pourquoi c'est important
La normalisation des échecs IA sans responsabilité claire menace la confiance des utilisateurs finaux.
Un billet du blog ihatethefuture critique Jev, modèle IA de TypeSafe AI renvoyant des valeurs typées avec scores de confiance. L'auteur dénonce une adoption aveugle : sans évaluations ni pipeline de vérité terrain, les développeurs expédient des produits défaillants en imputant les erreurs à « l'IA qui fait des erreurs ».
Le billet part d'une métaphore tirée de la série *President Curtis* : des portes qui « ne marchent pas » pour des raisons concrètes mais que les personnages qualifient simplement de « stupides ». L'auteur y voit le reflet exact de l'adoption actuelle de l'IA.
Jev, produit de TypeSafe AI, promet rapidité, faible coût et valeurs typées assorties de scores de confiance. L'auteur concède que l'outil est attrayant pour « cocher la case IA et livrer avant vendredi ». Mais il pointe un problème fondamental : pour savoir si Jev fonctionne correctement, il faut construire des évaluations et un pipeline de vérité terrain — soit déjà la majeure partie du travail nécessaire pour affiner sa propre solution.
Sur les scores de confiance, le constat est cinglant. La documentation de Jev suggère des seuils de 0,5 et 0,9 sans justification rigoureuse, avec une note reconnaissant que « les valeurs correctes dépendent du domaine ». En pratique, personne ne modélise les coûts de l'incertitude ni ne vérifie la calibration. Résultat : un usage cargo cult où un score de 73 % devient une excuse plutôt qu'un signal actionnable.
Enfin, l'auteur oppose la traçabilité d'un bug classique (erreur HTTP 500, propriétaire identifiable) à l'opacité des échecs IA, où la responsabilité se dissout dans un haussement d'épaules collectif.