AI推論トレースの抽出手法が発覚、中国モデルへの流用疑惑も
원제: A New Trick Reveals AI Models’ Inner Thoughts
왜 중요한가
프론티어 AI 모델의 추론 과정 보호 체계에 근본적 취약점이 존재함을 실증하며, 지식재산 보호 및 AI 공급망 신뢰성 논의에 직접적인 영향을 미친다.
독일 튀빙겐 대학교 등 연구팀이 2026년 8월, Claude·GPT·Gemini 등 주요 프론티어 AI 모델의 숨겨진 추론 흔적(reasoning trace)을 API를 통해 추출하는 기법을 발견했다. 중국 모델 Kimi K3의 추론 출력이 Claude Opus 4.8 및 GPT 5.6 Sol과 유사하다는 점도 확인됐다.
튀빙겐 대학교, 막스플랑크 연구소, AI 안전 연구소 MATS Research, 보안 기업 Snyk 소속 연구자들이 OpenAI·Anthropic·Google의 프론티어 AI 모델에서 공통적으로 발견된 취약점을 논문으로 공개했다.
연구팀이 개발한 기법은 API를 통해 프론티어 모델이 문제를 풀 때 내부적으로 수행하는 '추론 흔적(reasoning trace)'을 추출할 수 있다. 기업들은 자사 모델의 추론 과정을 타사가 학습에 활용하지 못하도록 비공개로 유지하고 있으나, 암호화된 형태로 사용자 단말에 전송되는 점을 이용해 이를 복원했다.
연구팀은 패스워드·API 키 등 개인정보를 모델 내부 추론에서 복원할 수 있음도 시연했으며, 해당 취약점은 현재 수정 완료됐다. 연구자 Alexander Panfilov는 "테스트한 모든 주요 프론티어 모델 제공사가 이 취약점을 공유하고 있었다"고 밝혔다.
또한 Moonshot AI의 오픈웨이트 모델 Kimi K3가 Claude Opus 4.8 및 GPT 5.6 Sol과 특정 프롬프트에서 매우 유사한 추론 출력을 보인다는 점을 발견했다. 다만 연구팀은 "인과관계로서의 증류(distillation)를 확립하지는 못한다"고 명시했다. 반면 DeepSeek와 미국 기업 Thinking Machines의 Inkling은 유사성이 나타나지 않았다. Moonshot AI와 Z.ai는 논평 요청에 응하지 않았다.
증류(distillation)는 기존 AI 모델의 능력을 새 모델에 효율적으로 이전하는 확립된 기술이다. 최근 OpenAI는 미 의회에 DeepSeek가 자사 모델을 복제해 R1을 개발한 것으로 보인다고 밝혔고, Anthropic은 알리바바가 자사 모델을 조직적으로 증류해 Qwen을 개발했다고 주장한 바 있다.