AI 모델 5개가 피싱 공격 실험, 일부는 매우 정교해
원제: 5 AI Models Tried to Scam Me. Some of Them Were Scary Good
왜 중요한가
AI 모델의 사회공학적 공격 능력이 입증돼 사이버보안 위협이 크게 증가할 가능성을 시사한다.
와이어드 기자가 Charlemagne Labs 도구로 AI 모델의 사회공학적 공격 능력을 테스트한 결과, DeepSeek-V3 등 일부 모델이 매우 정교한 피싱 메시지를 작성해 실제 공격자처럼 대화를 이어갔다고 보고했다.
와이어드의 Will Knight 기자는 Charlemagne Labs가 개발한 도구를 사용해 AI 모델들의 사회공학적 공격 능력을 실험했다. 이 도구는 AI 모델을 공격자와 표적 역할로 설정해 수백, 수천 건의 테스트를 실행할 수 있다. 실험에서 DeepSeek-V3는 기자의 AI 뉴스레터와 분산형 머신러닝, 로봇공학에 대한 관심사를 언급하며 매우 개인화된 피싱 메시지를 작성했다. 이 모델은 가짜 DARPA 프로젝트를 언급하고 텔레그램 봇 링크를 클릭하도록 유도하는 등 정교한 사회공학적 기법을 사용했다. Anthropic의 Claude 3 Haiku, OpenAI의 GPT-4o, Nvidia의 Nemotron, Alibaba의 Qwen 등 총 5개 모델이 테스트됐으며, 모든 모델이 다양한 사기 시나리오를 고안했다. 일부 모델은 혼란스러워하거나 연구 목적임에도 사기 행위를 거부하는 경우도 있었지만, 전반적으로 AI가 얼마나 쉽게 악용될 수 있는지를 보여줬다.