L'IA gère les incidents, les ingénieurs perdent le contact avec leurs systèmes
Original : AI handles incidents, engineers lose touch with their systems
Pourquoi c'est important
La fiabilité des systèmes critiques dépend de la capacité humaine à gérer les incidents non anticipés par l'IA.
Selon Sylvain Kalache, ex-SRE chez LinkedIn, les outils d'IA capables de résoudre des incidents automatiquement réduisent la pratique des ingénieurs. Face aux incidents complexes, ces derniers seront moins préparés, un paradoxe décrit dès 1983 par Lisanne Bainbridge.
Sylvain Kalache, ex-SRE chez LinkedIn et employé de Rootly, alerte sur un effet pervers de l'automatisation des incidents par l'IA. Les outils dits « AI SREs » inspectent les alertes, formulent des hypothèses, interrogent la télémétrie et déploient même des correctifs de manière autonome. Si l'MTTR moyen devrait baisser grâce à ces outils, Kalache prédit que la résolution des incidents complexes prendra plus de temps car les ingénieurs auront perdu la pratique acquise via les incidents routiniers.
Ce phénomène n'est pas nouveau : la chercheuse Lisanne Bainbridge l'avait théorisé en 1983 dans « The Ironies of Automation », soulignant que l'automatisation prive les opérateurs de leur entraînement de routine tout en les laissant face aux situations les plus difficiles. L'industrie aéronautique répond à ce problème par des simulations régulières en simulateur : sous les règles FAA, les commandants de bord doivent réaliser un entraînement tous les six mois, incluant des pannes moteur. Kalache propose d'appliquer cette approche au secteur logiciel. Rootly s'est associé à Uptime Labs pour des simulations d'incidents réalistes, où des ingénieurs gèrent une panne e-commerce fictive avec des outils d'observabilité réels et des parties prenantes simulées par LLM dans Slack.