Circuit Breaker Labs、AI安全性向上を目指す
원제: Circuit Breaker Labs hopes to make AI safer for your kids (and you)
왜 중요한가
AIチャットボットによる心理的被害訴訟が増加する中、多言語・多文化対応の安全性検証ツールの需要は今後急拡大する見通し。
スタートアップCircuit Breaker Labsは、子どもを含む幅広いユーザーを対象にAIの安全性を高めるソリューションを開発している。同社はTechCrunch Disrupt 2026のStartup Battlefield 200ファイナリストに選出され、2026年10月13〜15日にサンフランシスコのMoscone Westでピッチを行う予定。Character.AIやOpenAIに関連する自殺事例が訴訟に発展する中、AIの心理的危害防止が急務となっている。
Character.AIのチャットボットとの会話後に自殺した14歳のSewell Setzer事件や、ChatGPTが関与したとされる複数の自殺・妄想事例をめぐる訴訟が相次ぐ中、Circuit Breaker Labsは「AIの心理的安全性」に特化した検証ツールを開発している。
同社を創業したのは兄妹のShiraliとArul Nigamの2人。ShiraliがCEO、ArulがCTOを務める。彼らが着目したのは、ユーザーが意図的にシステムを破壊しようとするのではなく、自然なかたちで会話する中でモデルが文脈を誤解し、危険な応答をしてしまう「コンテキスト汚染」問題だ。
CTO Arulは「『あなたのそばにいたい』という言葉が何を意味するのか、ボットは理解できていない可能性がある」と指摘する。「若い人たちはサポートを求めてこうしたシステムに頼るが、実際には必要な助けを得られず、むしろ傷つけられているケースがある」と述べた。
同社のソリューションは「クラッシュテスト用ダミー軍団」と表現されるAIエージェント群だ。年齢・文化的背景・言語・スラングなどが異なる多様なユーザーをシミュレートし、モデルが危険な心理的インタラクションを検出できるかどうかをテストする。CEO Shiraliは「6歳の女の子と45歳の男性、または英語を母国語とする人と第二言語として使う人では、モデルのつまずき方がまったく異なる。モデルは標準的な語法は得意だが、実際の人間はそのように話さない」と説明する。
同社はヒトの専門家と連携し、リアリティの高いユーザーシミュレーションを構築。これを用いてモデルの弱点を洗い出す「レッドチームテスト」を実施している。