8ドル相当マイコンで2890万パラメータLLMを動作
Judul asli: Running a 28.9M parameter LLM on an $8 microcontroller
Mengapa Ini Penting
エッジAIの限界を大幅に拡張し、低コストデバイスへのオンデバイス推論普及の可能性を示す事例として注目される。
開発者slvDevが約8ドルのマイコンESP32-S3上で2890万パラメータのLLMをローカル動作させることに成功。毎秒約9トークンを生成し小型画面に出力する。
開発者slvDevがGitHubで公開したプロジェクト「esp32-ai」は、価格約8ドルのマイコンESP32-S3上で2890万パラメータの言語モデルを動作させることに成功した事例だ。モデルはサーバーに一切データを送らず、チップ単体で推論を行い、接続された小型画面に毎秒約9トークンのペースでテキストを生成・表示する。
ESP32-S3のスペックはSRAM 512KB、PSRAM 8MB、フラッシュメモリ16MBと非常に限定的だ。これほど小さなハードウェアに大規模モデルを収めるため、GoogleのGemmaモデルで採用されたPer-Layer Embeddings（レイヤーごとの埋め込み）という手法を活用。2890万パラメータのうち2500万をRAMではなくフラッシュの参照テーブルに格納することで、厳しいメモリ制約を克服した。
これまでこの種のマイコン上で動作した言語モデルは最大26万パラメータ程度とされており、今回はその約100倍のパラメータ数を実現したことになる。プロジェクトのコードはGitHubで公開されており、スター数はすでに900を超えている。