8ドルマイコンで2890万パラメータLLMを動作
मूल शीर्षक: Running a 28.9M parameter LLM on an $8 microcontroller
यह क्यों महत्वपूर्ण है
超低コストのマイクロコントローラーでのLLMローカル動作が実証され、エッジAIの普及可能性が大きく広がる技術的成果として注目される。
開発者slvDevが、約8ドルのマイクロコントローラーESP32-S3上で2890万パラメータのLLMをサーバー不要で動作させることに成功した。処理速度は約9トークン毎秒で、テキストを小型画面に出力する。
GitHubユーザーslvDevは、約8ドルで購入できるマイクロコントローラーESP32-S3上で、2890万パラメータの言語モデルをローカル動作させるプロジェクト「esp32-ai」を公開した。
ESP32-S3のスペックは512KB SRAM、8MB PSRAM、16MB Flashと極めて限られているが、GoogleのGemmaモデルで採用された「Per-Layer Embeddings（層別埋め込み）」という技術を活用することで、モデルの大部分（約2500万パラメータ）をRAMではなくFlashストレージに格納することを実現した。
動作速度は約9トークン毎秒で、チップに接続された小型ディスプレイにテキストをリアルタイムで出力する。通信はすべてデバイス上で完結しており、サーバーへのデータ送信は一切行われない。
従来、同種のマイクロコントローラーで動作した言語モデルは約26万パラメータが限界とされており、今回の実装はその約100倍のパラメータ数に相当する。本プロジェクトはGitHubで914スターを獲得しており、エッジAI分野での注目度が高い。