OpenAI dévoile sa première puce personnalisée avec Broadcom
Original : OpenAI unveils its first custom chip, built by Broadcom
Pourquoi c'est important
Les puces personnalisées réduisent les coûts d'inférence, élément clé pour la viabilité économique des services d'IA générative.
OpenAI a présenté mercredi sa première puce d'inférence personnalisée, nommée Jalapeño, conçue et fabriquée en collaboration avec Broadcom. La puce offre une meilleure performance énergétique que les alternatives actuelles et aide OpenAI à réduire sa dépendance aux GPU Nvidia.
OpenAI a officiellement dévoilé Jalapeño, son premier processeur d'inférence personnalisé, développé en partenariat avec Broadcom. Annoncé en octobre, ce projet s'inscrit dans la stratégie d'OpenAI pour diminuer sa dépendance envers les processeurs graphiques Nvidia. Les modèles d'IA propriétaires d'OpenAI ont contribué au développement de la puce. Selon l'entreprise, les résultats préliminaires montrent une performance énergétique significativement supérieure aux solutions concurrentes actuelles. Jalapeño est spécifiquement conçu pour l'inférence, c'est-à-dire l'exécution des modèles d'IA en réponse aux commandes utilisateur. OpenAI souligne particulièrement les faibles coûts opérationnels de la puce lors de l'exécution de modèles de codage en temps réel. Greg Brockman, président d'OpenAI, a expliqué que l'entreprise possède une compréhension approfondie de ses charges de travail et recherche spécifiquement à optimiser les tâches insuffisamment servies. Bien que les tâches plus exigeantes comme l'entraînement préalable continueront d'utiliser le matériel Nvidia, les réductions de coûts d'inférence pourraient améliorer significativement la rentabilité d'OpenAI. L'entreprise operate désormais à travers toute la pile technologique : architecture des puces, noyaux, systèmes mémoire, réseautage, ordonnancement et systèmes de déploiement.