악성코드 개발자가 AI 스캐너 회피 위해 생물무기 텍스트 삽입
원제: Malware developers added nuclear and biological weapons text to to their spyware
왜 중요한가
AI 보안 도구의 안전 기능이 역으로 악용되는 새로운 공격 벡터가 등장해 AI 보안 시스템 설계 재검토가 필요하다
악성코드 개발자들이 스파이웨어에 핵무기와 생물무기 관련 텍스트를 의도적으로 추가해 LLM 기반 보안 스캐너의 안전 기능을 악용해 분석을 회피하는 새로운 공격 기법이 발견됐다고 보안 연구자 John Scott-Railton이 X에서 발표했다.
보안 연구자 John Scott-Railton은 X를 통해 악성코드 개발자들이 AI 보안 스캐너를 우회하기 위한 새로운 기법을 개발했다고 밝혔다. 이들은 스파이웨어 코드에 핵무기와 생물무기 관련 텍스트를 의도적으로 삽입해 LLM의 안전 기능을 트리거시켜 분석을 거부하도록 유도하고 있다. Scott-Railton은 이를 'LLM 안전 거부 기능을 악용한 공격'이라고 설명하며, AI 모델의 과도한 안전 조치가 오히려 보안상 취약점을 만들어낸다고 경고했다. 그는 공격자들이 이러한 기능들을 발견하고 악용하는 것은 시작에 불과하며, 복잡한 사이버보안 문제를 다뤄야 하는 시스템에서는 안전 기능이 덜 제한적인 모델이 필요할 수도 있다고 지적했다. 이 사례는 Socket Security의 블로그 포스트에서도 다뤄졌으며, 악성코드 분석 파이프라인 설계에서 프롬프트 조작을 방지하기 위한 의도적 설계의 중요성을 보여준다.