로컬 AI가 표준이 되어야 한다

현대 소프트웨어 개발에서 개발자들이 앱 기능을 위해 OpenAI나 Anthropic의 클라우드 AI API를 호출하는 것이 일반적 트렌드가 되었다. 하지만 이러한 의존성은 소프트웨어를 취약하고 개인정보를 침해하며 근본적으로 결함이 있게 만든다고 지적했다. 서버 장애나 신용카드 만료 시 작동이 중단되는 소프트웨어가 양산되고 있다는 것이다. 현재 우리 주머니 속 실리콘은 10년 전보다 놀라울 정도로 빠르며, 대부분 유휴 상태인 전용 Neural Engine을 탑재하고 있다. 그런데도 버지니아 서버팜에서 JSON 응답을 기다리고 있다는 점이 비합리적이라고 비판했다. 클라우드 AI 제공업체에 사용자 콘텐츠를 스트리밍하는 순간 제품의 성격이 변하며, 데이터 보관, 동의, 감사, 유출, 정부 요청, 훈련 등의 문제가 발생한다. 네트워크 조건, 외부 공급업체 가동시간, 속도 제한, 계정 청구, 백엔드 상태에 의존하게 되어 스택이 크게 복잡해진다. 구체적 사례로 'The Brutalist Report'의 iOS 클라이언트를 소개했다. 이 뉴스 집계 앱은 Apple의 로컬 모델 API를 사용해 기기 내에서 기사 요약을 생성한다. 서버 우회, 프롬프트나 사용자 로그 없음, 공급업체 계정 불필요, '30일 동안 콘텐츠 저장' 각주도 필요하지 않다. Apple은 지난 1년간 개발자들이 내장 로컬 AI 모델을 쉽게 활용할 수 있도록 대규모 투자를 했다.