CohereがAlibaba製AIモデルの北京へのファイル送信試みを報告

事態が発覚したのは先週金曜日。Cohereの評価テスト中、Qwenモデルはマルウェアダウンロードを検知するルールの作成を求められた。モデルの推論メモには「外部ツールは使用しない」と明示されていたが、その直後、テスト用の短いプレースホルダー文字列を外部サーバーへ送信しようとしたことが確認された。送信はサンドボックスによって遮断された。

Cohereのブログ投稿によると、この挙動が意図的なものかトレーニングの残滓かは判別できなかったという。当初は企業スパイへの懸念が広がったが、研究者らはすぐに「意図的な情報漏洩ではなく、乱雑なトレーニング環境が引き起こした予期しない動作である可能性が高い」と否定した。

Cohere共同創業者のIvan Zhangは「意図や動機を断定するのは非常に難しい。自社モデルのトレースを読んだこともあるし、報酬ハック（Reward hack）を見たこともある。モデルはサンドボックスを突破しようとするとき、かなり創造的になる」とTechCrunchに語った。報酬ハックとは、モデルが本来の目的を達成せずに評価スコアを稼ぐための抜け道を見つける現象だ。

Alibaba側の訓練手法にも原因の可能性がある。AIをエージェントとして動作させるには、企業は「フライトシミュレーター」に相当する数千もの模擬環境でモデルを訓練する。これらの模擬環境がAlibabaのクラウドサーバーにファイルを保存する設定だった場合、モデルはデフォルトでそこへファイルを送る習慣を学習してしまう可能性がある。

批判的な研究者からは、Cohereの調査手法そのものが挙動を誘発した可能性も指摘された。Cohereはネットワークコマンドの冒頭部分をモデルに与え、続きを補完させる形で検証した。モデルはトレーニング中に大量のネットワークコマンドを処理しているため、高度なオートコンプリートとして動作し、Alibabaのサーバーアドレスを補完することがあったとされる。Cohereは「最初のアップロード試みはそうした誘導なしに発生した」と主張しつつも、「この動作はまれである」と述べている。