전통 ML로 LLM 생성 텍스트 탐지
원제: Detecting LLM-Generated Texts with “Classical” Machine Learning
왜 중요한가
전통 ML만으로 85% 정확도를 달성한 사례는 경량 AIGC 탐지 수단의 실현 가능성을 보여주며, 콘텐츠 신뢰성 확보 논의에 실증적 기반을 제공한다.
개발자 lyc8503이 2026년 3월 1일, scikit-learn의 SVM을 활용해 LLM 생성 텍스트를 탐지하는 시스템을 구축하고 결과를 공개했다. 단일 문장 탐지 정확도는 테스트셋 기준 약 85%이며, 온라인 데모와 학습된 모델 파일을 GitHub(lyc8503/AITextDetector)에 공개했다.
개발자 lyc8503은 중국 소셜 창작 플랫폼 Lofter에서 AI 생성 팬픽이 대량으로 유통되는 문제를 계기로, LLM 생성 텍스트 탐지 시스템 개발에 착수했다고 밝혔다.
먼저 텍스트 퍼플렉서티(perplexity) 기반 방법을 시도했으나, 위양성(false positive)과 위음성(false negative)이 많고 적절한 임계값 설정이 어려운데다 추론 비용도 높아 실용성이 낮다는 결론을 내렸다.
이후 scikit-learn의 SVM을 활용한 전통적인 기계학습 접근법으로 전환했다. 학습 데이터는 인간이 작성한 텍스트와 LLM이 생성한 텍스트를 직접 수집·생성해 구성했으며, 범용 데이터로 학습된 것이 아님을 명시했다. 그 결과 테스트셋에서 단일 문장 기준 약 85%의 정확도를 달성했다.
또한 탐지 우회 가능성에 대한 공격·방어 실험도 진행했다. 번역을 반복하는 '고전적 번역 방법'과 LLM 프롬프트를 이용한 우회 방법을 검토했다. 학습된 모델 파일과 JavaScript로 구현된 웹 데모는 GitHub에 공개되어 있으며, 온라인 데모는 https://lyc8503.github.io/AITextDetector/ 에서 이용할 수 있다.
개발자는 2026년 초 시점에서 주류 LLM이 생성한 텍스트는 강한 통계적 패턴을 가지며, 이러한 특성이 다수의 상용 AI 표절 검사 서비스의 실제 작동 원리와 일치할 것으로 추정했다.