ZML, startup française, lance un serveur d'inférence IA multi-puces gratuit
Original : Hot French startup ZML releases free product to speed inference across lots of AI chips
Pourquoi c'est important
L'inférence multi-puces gratuite peut redistribuer les cartes face à la domination Nvidia dans l'IA.
La startup française ZML a lancé LLMD, un serveur d'inférence LLM open source et gratuit compatible avec les puces Nvidia, AMD, Google TPU, Apple Metal et Intel Arc. L'objectif : éliminer le vendor lock-in et maximiser les performances d'inférence sur une grande variété de hardware.
ZML, startup parisienne de 20 personnes soutenue par le lauréat du prix Turing Yann LeCun, a publié ZML/LLMD, un serveur d'inférence LLM permettant de faire tourner des modèles open source sur un large éventail de puces — Nvidia, AMD, Google TPU, Apple Metal et Intel Arc — à leur vitesse maximale, voire au-delà selon son fondateur Steeve Morin.
L'ambition affichée est de briser les silos technologiques actuels qui créent une dépendance aux fournisseurs, à un moment où l'optimisation de l'inférence dépasse en importance l'entraînement des modèles. ZML vise à offrir aux entreprises et aux fournisseurs cloud la possibilité de mixer différentes puces, potentiellement moins coûteuses ou moins énergivores.
Morin cite plusieurs fabricants européens de puces IA — Axelera, Fractile, Kalray, SiPearl, VSORA — comme partenaires potentiels. Il précise entretenir également de bonnes relations avec Nvidia.
ZML fait face à des concurrents comme Baseten (valorisé 13 milliards de dollars), Inferact (issu du projet vLLM) et RadixArk (derrière SGLang). La société a levé 20 millions de dollars auprès d'investisseurs dont 20VC, Kima Ventures (Xavier Niel) et LocalGlobe, grâce notamment au track record de Morin en tant que VP Engineering de Zenly, acquis par Snapchat en 2017 pour plus de 100 millions de dollars.