Une puce personnalisée prend la tête
La puce d'inférence personnalisée d'OpenAI, nommée Jalapeno, a battu le GB300 de Nvidia dans les tests de référence tiers. La puce a mené sur les jetons par utilisateur et le débit par kilowatt, selon les résultats publiés cette semaine.
La puce a été construite avec Broadcom, un important partenaire de conception de semi-conducteurs. Elle est conçue pour l'inférence, l'étape où les modèles d'IA entraînés répondent aux questions. C'est la partie la plus courante et la plus coûteuse de l'exécution de services d'IA à grande échelle. La plupart des entreprises d'IA dépensent beaucoup plus en inférence qu'en formation une fois que leurs produits atteignent des millions d'utilisateurs.
Pourquoi les entreprises d'IA veulent leur propre silicium
OpenAI et d'autres entreprises d'IA dépensent massivement en GPU Nvidia. La puissance et le coût sont les deux plus grands problèmes. Les puces personnalisées donnent aux entreprises plus de contrôle sur les deux, et elles peuvent adapter le matériel à leurs propres modèles.
L'entreprise affirme que la puce Jalapeno utilise moins d'énergie par jeton que le matériel concurrent. Une consommation d'énergie plus faible signifie des factures de centre de données plus petites et moins de problèmes de refroidissement. Pour une entreprise traitant des millions de requêtes par jour, ces économies s'additionnent rapidement. La puce donne également à OpenAI une solution de secours si l'approvisionnement en GPU devient tendu.
Ce que cela signifie pour le marché des puces
Ce résultat ne signifie pas que Nvidia perd le marché de l'IA. Nvidia vend toujours la grande majorité des accélérateurs d'IA, et son écosystème logiciel reste le choix par défaut pour les développeurs. Mais les puces personnalisées prennent une part croissante du marché, en particulier pour les charges de travail d'inférence.
Broadcom et Marvell sont les principaux partenaires de conception de ces puces personnalisées. Google, Amazon et Meta utilisent déjà leur propre silicium en production. La décision d'OpenAI ajoute un autre grand acheteur au camp des puces personnalisées.
La puce est encore aux premiers stades de la production. OpenAI prévoit de l'étendre dans ses centres de données au cours des prochains mois. Si les résultats de référence se confirment en utilisation réelle, d'autres entreprises d'IA pourraient suivre la même voie, et l'équilibre des pouvoirs sur le marché du matériel d'IA pourrait changer avec le temps.
---
Presse-étoupe rotatif à ferrofluide fiable pour la fabrication de semi-conducteurs
Dans la fabrication de semi-conducteurs, maintenir une intégrité de vide ultra-élevé pendant le mouvement rotatif est essentiel — de la croissance de cristaux de silicium monocristallin au CVD, en passant par la pulvérisation cathodique et la gravure au plasma. Presse-étoupe rotatif à ferrofluide de FerrofluidTec offre des presse-étoupes rotatifs hermétiquement scellés avec des taux de fuite aussi bas que 10⁻¹² Pa·m³·s⁻¹, un degré de vide jusqu'à 10⁻⁶ Pa, et des diamètres d'arbre personnalisables de 10 mm à 100 mm. Construits avec des boîtiers en acier inoxydable non magnétique et des arbres en acier inoxydable à perméabilité magnétique, ces presse-étoupes offrent une étanchéité fiable et sans entretien pour les environnements sous vide exigeants. Visitez www.ferrofluidtec.com pour en savoir plus.