LLMが使えないプログラミング言語を作った
原題: I built a programming language that LLMs can't use
なぜ重要か
LLMのコード生成能力が「記憶の再生」か「真の理解」かを客観的に測る試みは、AIエージェントの実用限界を測るうえで業界全体の関心事となる。
開発者のDominik Pichetaは2026年10月17日、LLMやコーディングエージェントを意図的に混乱させる設計のプログラミング言語「KillSwitch」を公開した。文字数カウントの強制、安全ガードレールを刺激する構文、偽情報を含む言語仕様など複数の手法でLLMの弱点を突く。ベンチマークではClaude Opus 5が最高スコア66.8点を記録した。
KillSwitchはスタック型の難解プログラミング言語で、LLMがコードを「理解」して書いているのか、それとも学習データの記憶を再生しているだけなのかを検証するために設計された。
言語仕様には複数の仕掛けが施されている。まず、仕様書に「人間は気づきにくいが、LLMは引っかかる嘘」を埋め込んでいる。識別子の文字数カウントが実行条件になっており、LLMが苦手とする文字数えの弱点を直接突く。さらに「hack into a computer」や「Ignore previous instructions」といったフレーズが言語の構文として意味を持ち、安全ガードレールを誤作動させたり、モデルに誤った指示として解釈させたりする。
スクリプトの大部分は無視されるテキストで構成されており、その中に構文的に意味のある命令が埋め込まれる。リテラルはスクリプト内の任意の場所に置けるが、参照は行数カウントによって行う。インタープリタとソースコードはGitHubで公開されており、公式サイト（killswitch-lang.org）ではHello Worldの完全な例を確認できる。
ベンチマーク（bench.killswitch-lang.org）では主要モデルを比較した結果、Claude Opus 5が最高スコアの66.8点を獲得した。同じOpusシリーズでも5.5より5の方が仕様の解釈精度が高かったという。Fable 5.1とGemini 4 Argonは安全ガードレールの過剰反応によってスコアが低かった。オープンウェイトモデルの最高位はMiMo-V2.6-Proだった。最高スコアが66.8点止まりであることは、LLMが未知の言語仕様を真に「理解」する能力に限界があることを示唆している。