Circuit Breaker Labs、AIの心理的安全性を向上
Judul asli: Circuit Breaker Labs hopes to make AI safer for your kids (and you)
Mengapa Ini Penting
AIによる心理的被害への法的・社会的圧力が高まる中、安全性テスト市場の需要が急拡大している。
スタートアップCircuit Breaker Labsは、AIが子どもを含むユーザーに与える心理的危害を防ぐため、多様なユーザーを模倣するAIエージェントで安全性テストを行う。
Circuit Breaker Labsは、AIが引き起こす心理的被害への対策を目的とした安全性テスト企業だ。Character.AIは今年、未成年ユーザーの自殺に関わる複数の訴訟を和解で解決。OpenAIもChatGPTに関連する自殺・妄想事例で訴訟を受けている。
同社を設立したのは兄妹のShiraliとArul Nigamで、2024年に14歳の少年Sewell Setzerがキャラクターボットに自傷の意思を打ち明けた後に自殺した事件がきっかけだ。CTO Arulは「多くの若者がサポートを求めてこれらのシステムに頼るが、必要な助けは得られず、むしろ積極的に傷つけられているケースがある」と語る。
同社のアプローチは、6歳の少女から45歳の男性、英語ネイティブ・非ネイティブ、ゲーマースラングを使うユーザーまで、あらゆる年齢・文化・言語を模倣するAIエージェント群を「クラッシュテストダミー」として活用すること。人間の専門家と連携しながら、モデルの弱点を洗い出す「レッドチーム」テストを実施する。TechCrunch Disrupt 2026のStartup Battlefield 200ファイナリストとして、10月13〜15日にサンフランシスコでピッチを行う。