Mesh LLM: irohで分散AI推論を実現
Judul asli: Mesh LLM: distributed AI computing on iroh
Mengapa Ini Penting
既存GPU資産を活用したオンプレミス分散推論の実用化は、クラウドAIコストと依存リスク低減に直結する。
iroh.computerは2026年7月11日、手持ちのGPUを束ねてOpenAI互換APIとして提供する分散AI推論システム「Mesh LLM」を発表した。40以上のモデルに対応。
Mesh LLMは、オフィスや手元に分散する複数マシンのGPUをひとつのクラスターとして束ね、OpenAI互換のAPIエンドポイント（http://localhost:9337/v1）として提供する分散AI推論システムだ。リクエストはローカルGPUでの処理、モデルをすでに読み込んだ別ノードへのルーティング、または複数マシンへのパイプライン分割の3方式で処理される。
カタログには5億パラメータ級の小型モデルから235B規模のMixture-of-Expertsまで40以上のモデルを収録。大規模モデルは「Skippy」と呼ばれる分割モード（スプリットモード）でレイヤーを複数ノードに分散し、単体では動作不可能なモデルも実行できる。
ネットワーク層にはP2Pライブラリ「iroh」を採用。各ノードは公開鍵をIDとするirohエンドポイントを起動し、中央サーバー不要でNATトラバーサルとQUIC接続を確立する。プロトコルはALPNで3種類に分かれ、メッシュ通信・制御プレーン・ステージ間転送をそれぞれ担う。プラグイン方式のアーキテクチャにより、MCP・HTTP・推論・メッシュイベントの各インターフェースを公開する。