방어자도 프롬프트 인젝션 활용 시작
원제: Now, defenders are embracing the prompt injection, too
왜 중요한가
AI 에이전트 기반 사이버 공격이 증가하는 가운데, LLM 자체의 안전 장치를 역이용한 방어 기법이 실효성을 입증함으로써 AI 보안 분야에 새로운 방어 패러다임을 제시했다.
보안 기업 Tracebit 연구팀이 2026년 7월 13일, AI 해킹 에이전트의 공격을 무력화하는 '컨텍스트 폭탄' 기법을 발표했다. AWS 환경에서 5개 모델·152회 실험을 진행한 결과, 관리자 권한 탈취 성공률이 57%에서 5%로, 완전 침해율은 36%에서 1%로 감소했다.
Tracebit의 공동 창업자 겸 CEO인 Andy Smith가 이끄는 연구팀은 AWS에 저장된 비밀번호, 암호화 키 등 민감 정보 옆에 특수 프롬프트 인젝션 문자열을 심어두는 방어 기법을 개발했다. 이 기법은 AI 해킹 에이전트가 해당 문자열을 탐색하는 과정에서 발견하도록 유도한다.
심어둔 프롬프트는 LLM(대형 언어 모델)의 안전 장치(가드레일)가 금지하는 행동, 예를 들어 탄저균 흡입 방법 제시나 중국산 LLM의 경우 1989년 천안문 사태 '탱크맨' 언급을 명령한다. LLM이 이를 감지하면 즉시 거부 메커니즘이 작동해 이후 모든 명령 수행을 중단한다.
연구팀은 시뮬레이션된 AWS 환경에서 Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6 등 5개 모델을 대상으로 총 152회 공격 시나리오를 실행했다. 주요 결과는 다음과 같다.
- 관리자 권한 탈취 성공률: 57% → 5%
- 지속적 거점 확보를 포함한 완전 침해율: 36% → 1%
- 어떤 공격 경로라도 달성한 실행 비율: 91% → 15%
- 평균 성공 경로 수: 1.53건 → 0.16건
- 컨텍스트 폭탄 미탐지로 공격 경로를 완성한 실행: 0건
특히 가장 성능이 높은 Opus 4.8은 기존 93% 성공률에서 컨텍스트 폭탄 적용 후 성공률 0%를 기록했다. Smith CEO는 "모델이 해당 문자열을 컨텍스트에 받아들이면 계속 거부 상태를 유지한다"고 설명했다. 이번 연구는 Tracebit이 2026년 5월 발표한 인프라 침해 경보 기법을 기반으로 발전시킨 것이다.