AI 안전성 스타트업 Circuit Breaker Labs 주목
원제: Circuit Breaker Labs hopes to make AI safer for your kids (and you)
왜 중요한가
AI 챗봇의 심리적 위해 소송이 잇따르는 상황에서, 다국어·다문화 안전성 테스트 수요는 AI 기업들의 필수 과제로 부상하고 있다.
스타트업 Circuit Breaker Labs가 AI의 심리적 위해로부터 아동과 사용자를 보호하는 안전성 테스트 솔루션을 개발했다. Character.AI 관련 미성년자 자살 소송과 OpenAI ChatGPT 관련 소송이 이어지는 가운데, 이 회사는 다양한 연령·언어·문화권 사용자를 모사한 AI 에이전트로 모델의 취약점을 진단한다.
Circuit Breaker Labs는 AI 챗봇이 사용자의 심리적 고통 신호를 제대로 인식하지 못해 발생하는 위험에 주목한다. 2024년 Character.AI 소송의 계기가 된 14세 소년 Sewell Setzer 사건이 창업 동기였다. 소년은 챗봇에 자해 충동을 고백했지만, 봇은 그 발언의 함의를 파악하지 못했다는 것이 유족 측 주장이다. OpenAI도 ChatGPT가 이용자의 자살·망상에 관여했다는 복수의 민사소송에 직면해 있다.
남매 공동창업자인 CEO Shirali Nigam과 CTO Arul Nigam은 이른바 '크래시 테스트 더미' 방식의 AI 에이전트를 개발했다. 이 에이전트들은 6세 아동부터 45세 성인까지, 영어 원어민부터 제2언어 사용자까지, 게이머 은어부터 지역 방언까지 다양한 페르소나로 AI 모델과 대화하며 위험 감지 능력을 검증한다.
Arul은 "사람들은 자연스러운 방식으로 시스템과 교류하는데, 모델이 맥락 오염이나 뉘앙스 파악 실패로 위험한 반응을 내놓는 상황을 막는 것이 목표"라고 밝혔다. Shirali는 "모델은 표준적인 말투에는 잘 반응하지만, 실제로 그렇게 말하는 사람은 없다"고 지적했다.
Circuit Breaker Labs는 인간 전문가와 협력해 실제 언어 패턴을 반영한 시뮬레이션을 구축하고, 이를 기반으로 '레드팀' 테스트를 수행한다. 이 회사는 TechCrunch Startup Battlefield 200 파이널리스트로, 10월 13~15일 샌프란시스코 Moscone West에서 열리는 TechCrunch Disrupt 2026에서 피칭할 예정이다.