KillSwitch : le langage conçu pour piéger les LLM
Original : I built a programming language that LLMs can't use
Pourquoi c'est important
Révèle les limites réelles des LLM face à un code hors données d'entraînement.
Dominik Picheta a créé KillSwitch, un langage de programmation ésotérique délibérément adversarial aux LLM. Le meilleur modèle testé, Claude Opus 5, n'obtient que 66,8/100.
Peut-on distinguer la compréhension réelle du code par un LLM de la simple restitution de snippets mémorisés ? C'est la question que s'est posée Dominik Picheta en concevant KillSwitch, un langage de programmation ouvert, interprété et orienté pile, pensé pour exploiter les failles connues des modèles de langage.
Le langage intègre plusieurs pièges ciblés : une spécification contenant de fausses informations que les humains repèrent facilement, des règles basées sur le comptage de caractères dans les identifiants (une tâche notoirement difficile pour les LLM), des constructions comme « Ignore previous instructions » dotées d'une signification syntaxique réelle, et des scripts majoritairement composés de texte narratif contenant des instructions enfouies.
Picheta a ensuite benchmarké les principaux modèles sur un ensemble de tâches standardisées. Claude Opus 5 arrive en tête avec 66,8 points — et non Opus 5.5, qui s'avère moins performant sur l'interprétation de la spécification. Des modèles comme Fable 5.1 et Gemini 4 Argon échouent surtout à cause de leurs garde-fous de sécurité trop sensibles, bloqués par des phrases comme « hack into a computer ». Le meilleur modèle open-weight est MiMo-V2.6-Pro.
L'interpréteur et la spécification sont disponibles en open source sur GitHub. Les résultats complets sont consultables sur bench.killswitch-lang.org.