La puce personnalisée bat Nvidia dans les tests
La puce d'inférence personnalisée d'OpenAI, nom de code Jalapeño, a battu le GB300 de Nvidia dans des tests de référence tiers, selon des résultats publiés cette semaine. La puce a mené sur les jetons par utilisateur et le débit par kilowatt, une mesure clé de l'efficacité énergétique. Les tests ont été menés par des examinateurs indépendants, pas par OpenAI elle-même.
Construite avec Broadcom
La puce Jalapeño a été construite avec Broadcom, résultat d'un partenariat de plusieurs années. OpenAI a commencé à concevoir son propre silicium pour réduire sa dépendance à Nvidia, qui domine le marché des puces IA. L'entreprise achète toujours des processeurs Nvidia en grands volumes, mais les puces personnalisées lui donnent plus de contrôle sur les coûts et les performances.
Ce que signifient les résultats
Les analystes ont déclaré que les résultats de référence sont une étape importante pour la poussée matérielle d'OpenAI. Si la puce passe à l'échelle, elle pourrait changer l'économie du calcul IA. Une consommation d'énergie plus faible par jeton signifie des coûts d'exploitation plus bas pour les grands modèles de langage. OpenAI exécute certains des plus grands workloads IA au monde, donc même de petits gains d'efficacité se traduisent par d'importantes économies.
L'entreprise a élargi son équipe matérielle et a récemment ouvert un bureau de conception de puces. Les observateurs de l'industrie disent qu'OpenAI pourrait déployer les puces Jalapeño dans ses centres de données dans l'année à venir. Nvidia reste le leader du marché par une large marge, mais les résultats des tests montrent que les challengers réduisent l'écart. D'autres entreprises, dont Google et Amazon, ont également construit des puces IA personnalisées. La course pour concevoir du matériel IA meilleur et moins cher est maintenant l'une des compétitions les plus suivies en technologie. Pour OpenAI, la puce fait partie d'une stratégie plus large pour contrôler son propre avenir informatique, des modèles au silicium sur lequel ils fonctionnent.