元Meta報道責任者がAI情報判定の新会社設立
原題: Who decides what AI tells you? Campbell Brown, once Meta’s news chief, has thoughts
なぜ重要か
AI情報の品質向上は社会インフラとして重要で、専門家によるベンチマーク評価システムの確立が業界標準化を促進する可能性
元Meta報道責任者Campbell Brownが17か月前にForum AIを設立。地政学や精神健康など「高リスク分野」でのAI回答品質を専門家が評価する仕組みを構築。AI判定者が人間専門家と90%の一致率達成を目標とし、既存AIモデルの偏見や不正確性改善を目指している。
元FacebookのニュースチーフCampbell BrownがTechCrunchのインタビューで、AI情報の品質評価を行う新会社Forum AIについて語った。同社は17か月前にニューヨークで設立され、地政学、精神健康、金融、採用など「明確な答えがない複雑で微妙な分野」でのAI基盤モデルの性能を評価している。
Forum AIは各分野の世界的専門家を招集してベンチマークを設計し、AIジャッジを訓練して大規模評価を実施する。地政学分野ではNiall Ferguson、Fareed Zakaria、元国務長官Tony Blinken、元下院議長Kevin McCarthy、元オバマ政権サイバーセキュリティ責任者Anne Neubergerらを招聘。AIジャッジが人間専門家と約90%の合意に達することを目標とし、既にその水準に到達したという。
Brownは設立の動機について、「ChatGPT公開時にMetaにいて、これが全情報の流通経路になると気づいたが、品質が良くない」と振り返る。既存モデル評価では、Geminiが中国と無関係な記事で中国共産党サイトを参照したり、ほぼ全モデルで左派的偏向があることを発見。文脈欠如や観点不足、論点のすり替えなども確認された。
Brownは「基盤モデル企業はコーディングと数学に極度に集中しているが、ニュースと情報はより困難だ。しかし困難だからといって選択肢ではない」と指摘。Facebookでエンゲージメント最適化が社会に悪影響を与えた教訓から、AIがそのサイクルを断ち切ることに期待を寄せている。