ローカルAIを標準にすべきとの主張

unix.fooのブログ記事では、現代のソフトウェア開発において開発者がOpenAIやAnthropicなどのクラウドAI APIに安易に依存することの問題が論じられている。記事の著者は、この傾向が脆弱でプライバシーを侵害する根本的に壊れたソフトウェアを生み出していると警告している。クラウドAIに依存することで、サーバークラッシュやクレジットカードの期限切れでアプリが機能停止するリスクがある。現在のデバイスは10年前より圧倒的に高性能で、専用のNeural Engineを搭載しているにも関わらず、バージニア州のサーバーファームからのJSON応答を待つのは馬鹿げているとしている。サードパーティAIプロバイダーにユーザーコンテンツを送信することで、データ保持、同意、監査、侵害、政府要請、トレーニングなどの問題が発生する。また、ネットワーク状態、外部ベンダーの稼働時間、レート制限、アカウント請求、バックエンドの健全性に依存する分散システムとなり、コストが発生する。具体例として、The Brutalist ReportのiOSアプリでは、AppleのローカルモデルAPIを使用してデバイス上で記事要約を生成している。これにより、サーバー経由なし、ログなし、ベンダーアカウント不要、30日間のコンテンツ保存注意書き不要を実現している。Appleは昨年、開発者が内蔵ローカルAIモデルを簡単に活用できるよう大幅に投資している。