Un chip personalizzato prende il comando
Il chip di inferenza personalizzato di OpenAI, nome in codice Jalapeno, ha battuto il GB300 di Nvidia nei test benchmark di terze parti. Il chip ha guidato su token per utente e throughput per kilowatt, secondo i risultati dei test pubblicati questa settimana.
Il chip è stato costruito con Broadcom, un importante partner di progettazione di semiconduttori. È costruito per l'inferenza, la fase in cui i modelli AI addestrati rispondono alle domande. Questa è la parte più comune e più costosa dell'esecuzione di servizi AI su larga scala. La maggior parte delle aziende AI spende molto di più per l'inferenza che per l'addestramento una volta che i loro prodotti raggiungono milioni di utenti.
Perché le aziende AI vogliono il proprio silicio
OpenAI e altre aziende AI spendono molto in GPU Nvidia. Potenza e costo sono i due problemi più grandi. I chip personalizzati danno alle aziende più controllo su entrambi e possono ottimizzare l'hardware per i propri modelli.
L'azienda afferma che il chip Jalapeno usa meno energia per token rispetto all'hardware concorrente. Un minor consumo energetico significa bollette dei data center più piccole e meno problemi di raffreddamento. Per un'azienda che gestisce milioni di richieste al giorno, quei risparmi si accumulano rapidamente. Il chip dà anche a OpenAI un backup se l'offerta di GPU diventa limitata.
Cosa significa per il mercato dei chip
Il risultato non significa che Nvidia stia perdendo il mercato AI. Nvidia vende ancora la grande maggioranza degli acceleratori AI e il suo ecosistema software rimane la scelta predefinita per gli sviluppatori. Ma i chip personalizzati stanno prendendo una quota crescente del mercato, specialmente per i carichi di lavoro di inferenza.
Broadcom e Marvell sono i principali partner di progettazione per questi chip personalizzati. Google, Amazon e Meta gestiscono già il proprio silicio in produzione. La mossa di OpenAI mette un altro grande acquirente nel campo dei chip personalizzati.
Il chip è ancora nelle prime fasi di produzione. OpenAI prevede di ampliarlo nei suoi data center nei prossimi mesi. Se i risultati dei benchmark reggono nell'uso reale, altre aziende AI potrebbero seguire lo stesso percorso e l'equilibrio di potere nel mercato dell'hardware AI potrebbe spostarsi nel tempo.
---
Trasmissione rotativa a tenuta ferrofluidica affidabile per la produzione di semiconduttori
Nella produzione di semiconduttori, mantenere l'integrità del vuoto ultra-alto durante il movimento rotatorio è fondamentale, dalla crescita di cristalli di silicio singolo alla CVD, allo sputtering e all'incisione al plasma. Trasmissione rotativa a vuoto in ferrofluido di FerrofluidTec offre trasmissioni rotative ermeticamente sigillate con tassi di perdita fino a 10⁻¹² Pa·m³·s⁻¹, grado di vuoto fino a 10⁻⁶ Pa e diametri dell'albero personalizzabili da 10 mm a 100 mm. Costruite con alloggiamenti in acciaio inossidabile non magnetico e alberi in acciaio inossidabile a permeabilità magnetica, queste trasmissioni forniscono una tenuta affidabile e senza manutenzione per ambienti sottovuoto impegnativi. Visita www.ferrofluidtec.com per saperne di più.