AI 정보 품질 평가 스타트업 Forum AI, 전문가 벤치마크로 모델 검증
원제: Who decides what AI tells you? Campbell Brown, once Meta’s news chief, has thoughts
왜 중요한가
AI 정보 품질 검증이 새로운 시장 기회로 부상하며, 모델 개발사들의 정확성 개선 압박이 증가할 전망
메타 전 뉴스 책임자 캠벨 브라운이 설립한 Forum AI가 지정학, 정신건강 등 복잡한 주제에서 AI 모델 성능을 평가하는 사업을 전개한다고 TechCrunch가 보도했다. 전문가들과 90% 일치도를 목표로 한다.
메타의 전 뉴스 책임자 캠벨 브라운이 설립한 Forum AI는 AI 모델이 복잡한 주제에서 제공하는 정보의 품질을 평가하는 스타트업이다. 17개월 전 뉴욕에서 설립된 이 회사는 지정학, 정신건강, 금융, 채용 등 '고위험 주제'에서 파운데이션 모델의 성능을 검증한다. 브라운은 지정학 분야 평가를 위해 니얼 퍼거슨, 파리드 자카리아, 토니 블링컨 전 국무장관, 케빈 매카시 전 하원의장, 앤 뉴버거 등 전문가들을 영입했다. 이들 인간 전문가와 AI 판정자 간 약 90% 합의 수준 달성이 목표다. 브라운은 ChatGPT 출시 당시 메타에서 근무하며 'AI가 모든 정보의 통로가 될 것인데 품질이 좋지 않다'고 우려했다고 밝혔다. Forum AI의 초기 평가 결과, Gemini가 중국과 무관한 기사에서 중국 공산당 웹사이트를 인용하는 등의 문제점이 발견됐다. 대부분 모델에서 좌편향 성향도 나타났다고 지적했다. 브라운은 페이스북에서 참여도 최적화가 사회에 미친 부정적 영향을 언급하며, AI가 이런 악순환을 끊을 수 있기를 희망한다고 말했다.