古典的MLでLLM生成テキストを検出する手法
原題: Detecting LLM-Generated Texts with “Classical” Machine Learning
なぜ重要か
LLM生成コンテンツの検出手法をオープンに公開した事例として、AIコンテンツ管理やプラットフォームの健全性確保に関する議論に実装面での知見を提供する意義がある。
エンジニアのlyc8503氏は2026年3月1日、従来の機械学習モデル（scikit-learnのSVM）を用いてLLM生成テキストを検出する手法を公開した。同手法はテキストの統計的パターンを活用し、単文での検出精度はテストセットで約85%を達成。オンラインデモおよびコアコードはGitHubで公開されている。
lyc8503氏は個人ブログにて、LLM（大規模言語モデル）が生成したテキストを「古典的」機械学習で検出する取り組みを詳述した。
開発の動機は、中国のコンテンツ投稿プラットフォーム「Lofter」でAI生成の低品質な二次創作が大量に投稿されていることに気づいたことにある。氏はMarkdownの書式やAI特有のセクション見出しがそのまま残った投稿が多数あることを指摘しつつ、より巧妙に隠されたAI生成文の検出を目標とした。
最初にテキストのPerplexity（困惑度）を用いる手法を試みた。既存のLLMで各単語の出現確率を推定し、予測上位に集中していれば AI生成と判断するアプローチだが、偽陽性・偽陰性が多く、推論コストが高いことから断念した。
次に採用したのがscikit-learnのSVMを用いた手法だ。LLM生成テキストが持つ統計的なパターンを特徴量として学習させた。データ生成・学習・JavaScriptへの変換という手順を経て、ブラウザ上で動作するオンラインデモを公開している（https://lyc8503.github.io/AITextDetector/）。
検出精度は単文ベースでテストセット約85%を達成。ただし、汎用データでの学習は行っておらず、厳密な最適化も未実施であることを氏自身が明記している。
攻撃と防御の観点では、「翻訳メソッド」（AIテキストを一度別言語に翻訳して戻す方法）や「LLMプロンプトによる書き換え」など、検出を回避しようとする手法についても検証している。同氏は「2026年初頭時点で主流のLLM生成テキストには顕著な統計的パターンがあり、従来のMLでも十分識別できる」と述べており、多くの商用AIプラギアリズム検出ツールも同様の仕組みを採用している可能性があると推測している。