Een aangepaste chip neemt de leiding
OpenAI's aangepaste inferentiechip, codenaam Jalapeno, versloeg Nvidia's GB300 in benchmarks van derden. De chip leidde op tokens per gebruiker en doorvoer per kilowatt, volgens testresultaten die deze week zijn gepubliceerd.
De chip is gebouwd met Broadcom, een grote halfgeleiderontwerppartner. Hij is gebouwd voor inferentie, de fase waarin getrainde AI-modellen vragen beantwoorden. Dat is het meest voorkomende en duurste onderdeel van het draaien van AI-diensten op schaal. De meeste AI-bedrijven geven veel meer uit aan inferentie dan aan training zodra hun producten miljoenen gebruikers bereiken.
Waarom AI-bedrijven eigen silicium willen
OpenAI en andere AI-bedrijven geven veel uit aan Nvidia-GPU's. Stroom en kosten zijn de twee grootste problemen. Aangepaste chips geven bedrijven meer controle over beide en ze kunnen de hardware afstemmen op hun eigen modellen.
Het bedrijf zegt dat de Jalapeno-chip minder stroom per token verbruikt dan concurrerende hardware. Lager stroomverbruik betekent lagere datacenterrekeningen en minder koelingsproblemen. Voor een bedrijf dat miljoenen verzoeken per dag verwerkt, tellen die besparingen snel op. De chip geeft OpenAI ook een back-up als de GPU-toevoer krap wordt.
Wat het betekent voor de chipmarkt
Het resultaat betekent niet dat Nvidia de AI-markt verliest. Nvidia verkoopt nog steeds de overgrote meerderheid van AI-versnellers en zijn software-ecosysteem blijft de standaardkeuze voor ontwikkelaars. Maar aangepaste chips nemen een groeiend marktaandeel in, vooral voor inferentieworkloads.
Broadcom en Marvell zijn de belangrijkste ontwerppartners voor deze aangepaste chips. Google, Amazon en Meta draaien al hun eigen silicium in productie. De zet van OpenAI brengt nog een grote koper in het kamp van aangepaste chips.
De chip bevindt zich nog in de vroege productiefase. OpenAI is van plan hem de komende maanden op te schalen in zijn datacenters. Als de benchmarkresultaten standhouden in echt gebruik, kunnen andere AI-bedrijven hetzelfde pad volgen en zou de machtsbalans in de AI-hardwaremarkt in de loop van de tijd kunnen verschuiven.
---
Betrouwbare Ferrofluid-vacuümroterende doorvoer voor halfgeleiderproductie
In de halfgeleiderproductie is het handhaven van ultrahoog vacuüm tijdens roterende beweging van cruciaal belang – van enkelkristalgroei en CVD tot sputteren en plasma-etsen. Ferrofluid Vacuum Rotary Shaft Feedthrough van FerrofluidTec levert hermetisch afgesloten roterende doorvoeren met leksnelheden zo laag als 10⁻¹² Pa·m³·s⁻¹, vacuümgraad tot 10⁻⁶ Pa en aanpasbare asdiameters van 10 mm tot 100 mm. Gebouwd met niet-magnetische roestvrijstalen behuizingen en magnetisch permeabele roestvrijstalen assen, bieden deze doorvoeren betrouwbare, onderhoudsvrije afdichting voor veeleisende vacuümomgevingen. Bezoek www.ferrofluidtec.com voor meer informatie.