ブラジル製大規模言語モデル、実は既存モデルの混合
原題: Rio de Janeiro's "homegrown" LLM appears to be a merge of an existing model
なぜ重要か
AIモデル開発における透明性と知的財産権の重要性を示すとともに、自治体のAI活用における検証体制の課題を浮き彫りにした事例
リオデジャネイロ市が独自開発と発表した大規模言語モデル「Rio-3.5-Open-397B」が、実際にはNex-AGI社のNexモデルとQwen3.5-397B-A17Bを0.6対0.4の比率で混合しただけのモデルであることが判明。同市は独自訓練を主張していたが、重み分析により混合事実が発覚した。
GitHub上でNex-AGI社が告発した内容によると、ブラジルのリオデジャネイロ市がIplanRIOによって独自開発されたと発表した397億パラメータの大規模言語モデル「Rio-3.5-Open-397B」は、実際には既存の2つのモデルを混合しただけのものであることが明らかになった。
Nex-AGI社は2つの独立した方法でこの事実を証明している。第一に、Rioモデルからハードコードされた「You are Rio」というシステムプロンプトを除去すると、デプロイされたモデル自体が79％の確率で自分を「Nex-AGIのNex」と識別し、「Rio」と名乗ることは0％だったという。さらに同モデルは、Nex-AGI社の独自の背景設定を一語一句そのまま暗唱するという。
第二に、技術的な分析として、Rioの全ての重みテンソルが、60層全てとネットワークの全コンポーネントにわたって、NexとQwenの0.6対0.4の混合比率と数千標準偏差の範囲で一致することを確認した。他のファインチューニングモデルでは、このような補間として説明できないことも指摘している。
リオデジャネイロ市は当初、このモデルを独自に訓練した革新的な成果として発表していたが、実際には既存モデルの要素ごとの直接混合であり、独自の訓練の証拠は見つからなかったとNex-AGI社は主張している。