Mesh LLM: irohで分散AI計算
मूल शीर्षक: Mesh LLM: distributed AI computing on iroh
यह क्यों महत्वपूर्ण है
クラウドAPIに依存せず既存ハードウェアで大型LLMを分散実行できる仕組みは、コスト削減とデータプライバシー確保を両立する手段として注目される。
iroh.computerは2026年7月11日、分散AI計算フレームワーク「Mesh LLM」を発表した。既存のGPUを複数マシンにまたがってプールし、OpenAI互換APIとして提供する。40以上のモデルをサポートし、235Bパラメータの大型モデルも複数マシンで分割実行できる。
Mesh LLMは、チームや個人が保有する複数マシンのGPUをまとめて、ひとつのOpenAI互換API（localhost:9337/v1）として利用できる分散推論システムだ。Rae McKelveyが開発を主導している。
リクエストの処理方式は3種類ある。①ローカルマシンのGPUで直接実行、②対象モデルを既にロード済みのピアにルーティング、③単一マシンに収まらない大型モデルを複数ノードにレイヤー単位で分割して実行（内部名「Skippy」）。Skippyでは、例えばレイヤー0〜15を1台目、16〜31を2台目に割り当て、活性化値をパイプライン状に流すことで、どの1台でも保持できない大型モデルを協調実行できる。
カタログには5億パラメータのモデルから235Bの混合エキスパートモデルまで40種以上が含まれる。
ネットワーク層にはP2Pライブラリ「iroh」を使用。各ノードは公開鍵をIDとするirohエンドポイントを起動し、中央サーバーなしにNATトラバーサルやホールパンチング、QUICによる直接接続を実現する。接続できない場合のフォールバックとして、異なるリージョンに2つのirohリレーを運用する。プロトコルはQUICのALPN negotiationで3種類（mesh-llm/1、mesh-llm-control/1、skippy-stage/2）を使い分ける。
アーキテクチャはプラグイン方式で、各プラグインはマニフェストで提供機能を宣言し、ランタイムがMCP、HTTP、推論、メッシュイベントのルーティングを担う。