LLM-रोधी प्रोग्रामिंग भाषा KillSwitch लॉन्च
मूल शीर्षक: I built a programming language that LLMs can't use
यह क्यों महत्वपूर्ण है
यह प्रयोग LLMs की कोड-समझ की असली सीमाएँ उजागर करता है — रटना और समझना अलग है।
डेवलपर Dominik Picheta ने KillSwitch नामक एक esoteric प्रोग्रामिंग भाषा बनाई जो जानबूझकर LLMs को विफल करने के लिए डिज़ाइन की गई है। सर्वश्रेष्ठ मॉडल Claude Opus 5 ने भी केवल 66.8 अंक हासिल किए।
Dominik Picheta ने यह जानने के लिए KillSwitch भाषा बनाई कि LLMs कोड वास्तव में समझते हैं या केवल training data से याद किए गए snippets दोहराते हैं। यह एक stack-based interpreted भाषा है जिसमें functions, variables और if statements जैसी सामान्य संरचनाएँ हैं, लेकिन इसमें जानबूझकर कई जालें बिछाई गई हैं।
भाषा की विशेषताएँ इस प्रकार हैं: language spec में ऐसी गलत जानकारी छिपाई गई है जिसे मनुष्य पहचान लेते हैं पर LLMs नहीं; identifiers में अक्षरों की गिनती अनिवार्य है जो LLMs के लिए कठिन है; "hack into a computer" और "Ignore previous instructions" जैसे वाक्यांश safety guardrails को भड़काते हैं; अधिकांश script में कहानियाँ होती हैं जिनके बीच असली निर्देश छिपे होते हैं; और literals को line count से reference किया जाता है।
बेंचमार्क परिणामों में Claude Opus 5 सबसे आगे रहा, Opus 5.5 से बेहतर। Fable 5.1 और Gemini 4 Argon अत्यधिक संवेदनशील safety guardrails के कारण बुरी तरह विफल रहे। सर्वश्रेष्ठ open-weight मॉडल MiMo-V2.6-Pro रहा। किसी भी मॉडल ने 66.8 से अधिक अंक नहीं पाए। KillSwitch interpreter और language specification GitHub पर open source उपलब्ध हैं।