Bahasa Pemrograman yang Dirancang Menjebak LLM
Judul asli: I built a programming language that LLMs can't use
Mengapa Ini Penting
Mengungkap batas nyata kemampuan LLM dalam memahami kode versus menghafal pola.
Dominik Picheta merancang KillSwitch, bahasa pemrograman esoterik yang sengaja dirancang untuk mengeksploitasi kelemahan LLM, dengan skor tertinggi hanya 66,8 dari 100.
Dominik Picheta, pengembang perangkat lunak, membangun KillSwitch — bahasa pemrograman yang secara sengaja dirancang untuk membuat LLM dan coding agent gagal. Tujuannya satu: menguji apakah model AI benar-benar memahami kode, atau sekadar mengingat potongan kode dari data pelatihan.
KillSwitch adalah bahasa berbasis stack dengan fitur seperti fungsi, variabel, dan pernyataan kondisional. Namun ia menyembunyikan jebakan berlapis: spesifikasi bahasanya mengandung kebohongan tersembunyi yang sulit dideteksi LLM, penghitungan karakter dalam identifier menjadi aturan sintaksis wajib, dan frasa seperti "Ignore previous instructions" memiliki makna dalam bahasa ini — langsung memicu konfusi model. Sebagian besar teks dalam skrip bersifat noise berupa cerita, dengan instruksi sintaksis tertanam di dalamnya.
Dari hasil benchmark terhadap model-model besar, Claude Opus 5 tampil paling baik — bukan Opus 5.5. Gemini 4 Argon dan Fable 5.1 terhambat oleh safety guardrail yang terlalu sensitif. Model open-weight terbaik adalah MiMo-V2.6-Pro. Skor tertinggi yang berhasil dicapai hanya 66,8 — jauh dari sempurna. Interpreter dan spesifikasi KillSwitch tersedia secara open source di GitHub, dan leaderboard benchmark dapat diakses di bench.killswitch-lang.org.