Mesh LLM : calcul IA distribué via iroh
Original : Mesh LLM: distributed AI computing on iroh
Pourquoi c'est important
Permet aux entreprises de mutualiser leur compute existant pour des LLM sans dépendance cloud.
Mesh LLM est une solution open source qui regroupe les GPU disponibles sur plusieurs machines pour les exposer via une API compatible OpenAI. Lancé le 11 juillet 2026 par iroh.computer, il permet de faire tourner des modèles jusqu'à 235 milliards de paramètres sans serveur centralisé.
Mesh LLM propose une alternative aux API cloud en mutualisant les GPU déjà disponibles dans les équipes — qu'ils soient dans des bureaux, des armoires ou sous des bureaux — pour former un cluster unifié. L'API résultante est compatible OpenAI et accessible via http://localhost:9337/v1, sans que le client ne sache où s'exécute réellement le calcul.
Le système fonctionne selon trois modes : exécution locale sur le GPU de la machine, routage vers un pair disposant déjà du modèle en mémoire, ou décomposition d'un modèle trop volumineux en stages répartis sur plusieurs nœuds (mode « Skippy »). Dans ce dernier cas, les couches du modèle sont partitionnées par plages (ex. couches 0-15 sur un nœud, 16-31 sur le suivant), les activations circulant de stage en stage.
L'architecture repose sur iroh, un protocole P2P basé sur QUIC. Chaque nœud possède une clé publique comme identité. iroh gère le NAT traversal, le hole-punching et le relay fallback pour établir des connexions directes authentifiées. Trois ALPN distincts structurent les échanges : le plan mesh principal (gossip, routing, tunnels HTTP), le plan de contrôle propriétaire, et le protocole Skippy pour les stages de pipeline.
Le catalogue intègre plus de 40 modèles, allant de modèles de 500 millions de paramètres utilisables sur laptop jusqu'à des modèles mixture-of-experts de 235 milliards de paramètres.