仏スタートアップZML、複数AIチップ対応の無料推論ソフト公開
मूल शीर्षक: Hot French startup ZML releases free product to speed inference across lots of AI chips
यह क्यों महत्वपूर्ण है
AI inference के क्षेत्र में chip vendor lock-in तोड़ने की दिशा में यह एक महत्वपूर्ण कदम है, जो AI लागत कम करने में सहायक हो सकता है।
फ्रांसीसी AI स्टार्टअप ZML ने मुफ्त LLM inference server 'ZML/LLMD' लॉन्च किया है, जो Nvidia, AMD, Google TPU, Apple Metal और Intel Arc समेत कई chips पर open-source LLM को तेज़ गति से चला सकता है। कंपनी ने $20 मिलियन की फंडिंग जुटाई है।
Paris स्थित AI स्टार्टअप ZML ने अपना नया LLM inference server 'ZML/LLMD' मुफ्त में जारी किया है। यह software Nvidia, AMD, Google TPU, Apple Metal और Intel Arc जैसे विभिन्न chips पर open-source बड़े भाषा मॉडल (LLM) को अधिकतम गति से चलाने में सक्षम है।
ZML के संस्थापक Steeve Morin ने TechCrunch को बताया कि कंपनी का उद्देश्य मौजूदा vendor lock-in को तोड़ना और enterprises व cloud providers को विभिन्न chips के मिश्रण का उपयोग करने का विकल्प देना है, जिससे लागत और ऊर्जा खपत कम हो सके। उन्होंने कहा, "लोगों को अपना system बनाने की शक्ति वापस देना और वास्तविक efficiency हासिल करना हमारा लक्ष्य है।"
Morin ने यूरोपीय chip निर्माताओं जैसे Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud और VSORA के साथ सहयोग का भी उल्लेख किया। उन्होंने यह भी कहा कि ZML का Nvidia के साथ अच्छा संबंध है और वे silicon co-designing के स्तर तक पहुँच चुके हैं।
ZML को Turing Award विजेता Yann LeCun का समर्थन प्राप्त है। Morin पहले Snapchat द्वारा 2017 में nine-figure deal में अधिग्रहीत Zenly के VP of Engineering थे। इस track record के आधार पर उन्होंने Harry Stebbings की 20VC, Xavier Niel की Kima Ventures, LocalGlobe समेत कई venture firms से $20 मिलियन जुटाए हैं। कंपनी में केवल 20 लोगों की टीम है।
ZML के प्रतिस्पर्धियों में $13 बिलियन मूल्यांकन वाली Baseten, vLLM निर्माताओं द्वारा बनाई Inferact और SGLang के पीछे RadixArk शामिल हैं।