Ett anpassat chip tar ledningen
OpenAIs anpassade inferenschip, kodnamn Jalapeno, slog Nvidias GB300 i tredjeparts benchmarktester. Chippet ledde på tokens per användare och genomströmning per kilowatt, enligt testresultat som publicerades denna vecka.
Chippet byggdes med Broadcom, en stor halvledardesignpartner. Det är byggt för inferens, det stadium där tränade AI-modeller svarar på frågor. Det är den vanligaste och dyraste delen av att driva AI-tjänster i stor skala. De flesta AI-företag spenderar mycket mer på inferens än på träning när deras produkter når miljontals användare.
Varför AI-företag vill ha eget kisel
OpenAI och andra AI-företag spenderar mycket på Nvidia GPU:er. Ström och kostnad är de två största problemen. Anpassade chip ger företag mer kontroll över båda, och de kan ställa in hårdvaran för sina egna modeller.
Bolaget säger att Jalapeno-chippet använder mindre ström per token än konkurrerande hårdvara. Lägre strömförbrukning innebär mindre datacenterkostnader och färre kylproblem. För ett företag som hanterar miljontals förfrågningar om dagen blir dessa besparingar snabbt stora. Chippet ger också OpenAI en reservplan om GPU-tillgången blir snäv.
Vad det betyder för chipmarknaden
Resultatet betyder inte att Nvidia förlorar AI-marknaden. Nvidia säljer fortfarande den stora majoriteten av AI-acceleratorer, och dess mjukvaruekosystem förblir standardvalet för utvecklare. Men anpassade chip tar en växande andel av marknaden, särskilt för inferensarbetsbelastningar.
Broadcom och Marvell är de huvudsakliga designpartnerna för dessa anpassade chip. Google, Amazon och Meta kör redan eget kisel i produktion. OpenAIs drag placerar ytterligare en stor köpare i det anpassade chip-lägret.
Chippet är fortfarande i tidiga produktionsstadier. OpenAI planerar att skala upp det i sina datacenter under de kommande månaderna. Om benchmarkresultaten håller i verklig användning kan andra AI-företag följa samma väg, och maktbalansen på AI-hårdvarumarknaden kan skifta över tid.