El chip personalizado supera a Nvidia en pruebas
El chip de inferencia personalizado de OpenAI, con nombre en código Jalapeño, superó al GB300 de Nvidia en pruebas de referencia de terceros, según resultados publicados esta semana. El chip lideró en tokens por usuario y rendimiento por kilovatio, una medida clave de eficiencia energética. Las pruebas fueron realizadas por revisores independientes, no por la propia OpenAI.
Construido con Broadcom
El chip Jalapeño fue construido con Broadcom, el resultado de una asociación de varios años. OpenAI comenzó a diseñar su propio silicio para reducir su dependencia de Nvidia, que domina el mercado de chips de IA. La compañía todavía compra procesadores de Nvidia en grandes volúmenes, pero los chips personalizados le dan más control sobre el costo y el rendimiento.
Qué significan los resultados
Los analistas dijeron que los resultados de las pruebas son un hito para el impulso de hardware de OpenAI. Si el chip se escala bien, podría cambiar la economía de la computación de IA. Un menor uso de energía por token significa menores costos operativos para los grandes modelos de lenguaje. OpenAI ejecuta algunas de las cargas de trabajo de IA más grandes del mundo, por lo que incluso pequeñas ganancias de eficiencia se traducen en grandes ahorros.
La compañía ha estado expandiendo su equipo de hardware y recientemente abrió una oficina de diseño de chips. Los observadores de la industria dicen que OpenAI podría implementar los chips Jalapeño en sus centros de datos dentro del próximo año. Nvidia sigue siendo el líder del mercado por un amplio margen, pero los resultados de las pruebas muestran que los rivales están cerrando la brecha. Otras compañías, incluidas Google y Amazon, también han construido chips de IA personalizados. La carrera por diseñar hardware de IA mejor y más barato es ahora una de las competencias más observadas en tecnología. Para OpenAI, el chip es parte de una estrategia más amplia para controlar su propio futuro informático, desde los modelos hasta el silicio en el que se ejecutan.