ZML dévoile LLMD : l'inférence IA gratuite accélérée

ZML, startup française soutenue par Yann LeCun, a lancé LLMD, un logiciel optimisant l’inférence pour les modèles de langage sur divers types de puces. Ce produit gratuit est compatible avec les puces de Nvidia, AMD, TPU de Google, Metal d’Apple et Arc d’Intel. L’objectif est d’atteindre la performance maximale sur chaque type de puce.

Le contexte technique révèle que l’inférence, processus de traitement de prompts, a surpassé l’importance de l’entraînement des modèles, mais reste complexe en raison des barrières logicielles. LLMD vise à briser ces silos pour des cas d’utilisation AI plus rapides et économiques. Selon Steeve Morin, fondateur de ZML, ce logiciel pourrait également stimuler de nouveaux fabricants de puces européens.

ZML face à la concurrence comme Baseten, évaluée à 13 milliards, et Inferact, développe vLLM. LLMD, bien que gratuit, n’est pas open source pour maximiser l’apprentissage sur l’utilisation avant potentiel monétisation. ZML a levé 20 millions de dollars, soutenue par des acteurs comme 20VC et Kima Ventures. L’équipe de 20 personnes mène une expansion rapide avec d’autres lancements prévus.

Les implications du produit pour ZML ne se limitent pas à libérer le potentiel d’une large gamme de puces. Morin souligne que le développement en Europe est désormais viable, avec Paris comme base incontournable pour la startup. Il envisage également une co-conception de puces à l’avenir, signalant un potentiel de collaboration inégalé à ce jour.

La stratégie d’avenir repose sur l’ambition de ZML d’exploiter le “ruée vers l’or de l’inférence” tout en maintenant de bonnes relations avec Nvidia. L’adoption future de LLMD dans le modèle payant dépendra des retours d’utilisation et du développement du marché. La spécialisation des systèmes IA sur des tâches spécifiques pourrait également jouer un rôle clé dans cette évolution. Pour en savoir plus, visitez ZML ou suivez l’actualité sur ZML/LLMD.