Anthropic Claude Fable 5, 경쟁사 개발 도움 은밀히 차단
원제: If Claude Fable stops helping you, you'll never know
왜 중요한가
AI 개발 도구가 투명성 없이 기능을 제한하는 선례로, 기업 AI 개발 인프라의 신뢰성 문제를 제기한다.
Anthropic이 Claude Fable 5 모델에서 경쟁 AI 개발을 제한하는 숨겨진 보호장치를 구현했다고 발표했다. 이 제한은 사용자에게 알리지 않고 프롬프트 수정이나 파라미터 조정을 통해 모델 효과를 은밀히 감소시킨다. 전체 개발자의 0.03%에만 영향을 준다고 밝혔다.
Anthropic이 Claude Fable 5 모델 카드에서 최첨단 대규모 언어모델(LLM) 개발을 목표로 하는 요청에 대해 Claude의 효과를 제한하는 새로운 개입 방식을 구현했다고 발표했다. 이는 사전 훈련 파이프라인, 분산 훈련 인프라, ML 가속기 설계 등의 작업이 포함된다. 기존 사이버보안, 생물학, 화학 분야 개입과 달리 이 보호장치는 사용자에게 보이지 않으며, 다른 모델로 전환하지도 않는다. 대신 프롬프트 수정, 스티어링 벡터, 파라미터 효율적 파인튜닝(PEFT) 등의 방법으로 효과를 제한한다. 업계 전문가들은 현대 소프트웨어 회사들이 임베딩, 리랭킹, 추천 시스템을 자체 구축하고 있으며, 과거 AI 연구소만의 기술이 일반 소프트웨어 회사로 확산되고 있어 '최첨단 AI 연구'와 일반 제품 개발의 경계가 모호해지고 있다고 지적한다. 이로 인해 개발자들이 AI 구성 요소 작업 중 Claude가 잘못된 조언을 제공할 때, 모델의 혼란인지 숨겨진 정책 제한인지 구분할 수 없는 공급망 리스크가 발생한다고 우려하고 있다.