Un chip personalizado toma la delantera
El chip de inferencia personalizado de OpenAI, con el nombre clave Jalapeño, superó al GB300 de Nvidia en pruebas de referencia de terceros. El chip lideró en tokens por usuario y rendimiento por kilovatio, según los resultados de pruebas publicados esta semana.
El chip fue construido con Broadcom, un importante socio de diseño de semiconductores. Está construido para la inferencia, la etapa donde los modelos de IA entrenados responden preguntas. Esa es la parte más común y más cara de ejecutar servicios de IA a escala. La mayoría de las empresas de IA gastan mucho más en inferencia que en entrenamiento una vez que sus productos llegan a millones de usuarios.
Por qué las empresas de IA quieren su propio silicio
OpenAI y otras empresas de IA gastan mucho en GPU de Nvidia. La energía y el costo son los dos problemas más grandes. Los chips personalizados dan a las empresas más control sobre ambos, y pueden ajustar el hardware a sus propios modelos.
La empresa dice que el chip Jalapeño usa menos energía por token que el hardware rival. Un menor uso de energía significa facturas de centros de datos más pequeñas y menos problemas de enfriamiento. Para una empresa que ejecuta millones de solicitudes al día, esos ahorros se acumulan rápidamente. El chip también le da a OpenAI un respaldo si el suministro de GPU se vuelve escaso.
Lo que significa para el mercado de chips
El resultado no significa que Nvidia esté perdiendo el mercado de IA. Nvidia todavía vende la gran mayoría de los aceleradores de IA, y su ecosistema de software sigue siendo la opción predeterminada para los desarrolladores. Pero los chips personalizados están tomando una participación creciente del mercado, especialmente para cargas de trabajo de inferencia.
Broadcom y Marvell son los principales socios de diseño para estos chips personalizados. Google, Amazon y Meta ya ejecutan su propio silicio en producción. El movimiento de OpenAI pone a otro gran comprador en el campo de los chips personalizados.
El chip todavía está en las primeras etapas de producción. OpenAI planea escalarlo en sus centros de datos en los próximos meses. Si los resultados de las pruebas de referencia se mantienen en uso real, otras empresas de IA pueden seguir el mismo camino, y el equilibrio de poder en el mercado de hardware de IA podría cambiar con el tiempo.
---
Alimentador rotativo de vacío de ferrofluido confiable para la fabricación de semiconductores
En la fabricación de semiconductores, mantener la integridad del vacío ultraalto durante el movimiento rotativo es crítico, desde el crecimiento de cristales de silicio individuales y CVD hasta la pulverización catódica y el grabado con plasma. Alimentador rotativo de vacío de ferrofluido de FerrofluidTec ofrece alimentadores rotativos sellados herméticamente con tasas de fuga tan bajas como 10⁻¹² Pa·m³·s⁻¹, grado de vacío de hasta 10⁻⁶ Pa, y diámetros de eje personalizables de 10 mm a 100 mm. Construidos con carcasas de acero inoxidable no magnético y ejes de acero inoxidable con permeabilidad magnética, estos alimentadores proporcionan sellado confiable y sin mantenimiento para entornos de vacío exigentes. Visite www.ferrofluidtec.com para obtener más información.