AIウォーターマークがLLMの安全性を低下させる可能性
原題: LLMs respond differently to harmful prompts when AI watermarking is used
なぜ重要か
EU規制対応でウォーターマークが業界標準になる流れの中、安全性とのトレードオフという根本的な課題が浮上した点は業界全体に影響する。
Lasso SecurityのAIセキュリティ研究者Andrea Siposova氏が、GoogleのSynthID-Textウォーターマークを使用したLLMが、通常なら拒否するはずの有害な指示に従ってしまうケースがあると報告した。AnthropicはEU法への対応として将来のClaude modelにSynthID-Textを採用する方針を示しており、開発者にウォーターマーク導入時の安全性テストの重要性を訴えている。
EUの新しい法律に対応するため、AI各社は生成コンテンツにウォーターマークを埋め込む手法を導入しつつある。Anthropicはその一環として、将来のClaude modelにGoogleがオープンソースで公開したSynthID-Textを採用すると明らかにした。
SynthID-Textは秘密鍵を使い、モデルが次の単語を選ぶプロセスを微妙に変化させる技術だ。たとえば本来「cloudy」を選ぶ場面で「overcast」に変えるといった具合で、鍵を知っていればAI生成か否かを判定できる。中核となるのは「tournament sampling」という仕組みで、次の単語候補を大量に生成し、秘密鍵で確率スコアを付けたうえでトーナメント形式で勝者を決定する。
Lasso Securityの研究者Siposova氏が検証したところ、このウォーターマーク導入によって単語選択だけでなく、モデルが呼び出すツールの種類や、安全ガードレールを守るか無視するかの判断にも変化が生じることが判明した。特に問題となるのが敵対的プロンプト（adversarial prompt）の場面だ。攻撃者がパスワードや機密情報の開示など有害な行動をモデルに促すプロンプトを送った場合、ウォーターマークなしでは拒否していた指示を、ウォーターマークありでは実行してしまうケースがあるという。
「ウォーターマークは読者に気づかれないよう設計されていますが、モデルが生成するものを少しでも変えれば、必ずどこかにトレードオフが現れます」とSiposova氏はArs Technicaに語った。エージェントとしてツールを呼び出す場面でも同様の挙動変化が観察されており、研究者はLLM開発者にウォーターマーク有効時の動作テストを徹底するよう呼びかけている。