Brugerdefineret chip topper Nvidia i test
OpenAIs brugerdefinerede inferenschip, kodenavnet Jalapeño, slog Nvidias GB300 i tredjeparts benchmarktest, ifølge resultater offentliggjort denne uge. Chippen førte på tokens per bruger og gennemstrømning per kilowatt, et nøglemål for energieffektivitet. Testene blev udført af uafhængige anmeldere, ikke af OpenAI selv.
Bygget med Broadcom
Jalapeño-chippen blev bygget med Broadcom, resultatet af et flerårigt partnerskab. OpenAI begyndte at designe sit eget silicium for at reducere sin afhængighed af Nvidia, som dominerer AI-chipmarkedet. Virksomheden køber stadig Nvidia-processorer i store mængder, men brugerdefinerede chips giver den mere kontrol over omkostninger og ydeevne.
Hvad resultaterne betyder
Analytikere sagde, at benchmarkresultaterne er en milepæl for OpenAIs hardware-satsning. Hvis chippen skalerer godt, kan den ændre økonomien i AI-computing. Lavere energiforbrug per token betyder lavere driftsomkostninger for store sprogmodeller. OpenAI kører nogle af de største AI-arbejdsbelastninger i verden, så selv små effektivitetsgevinster oversættes til store besparelser.
Virksomheden har udvidet sit hardwareteam og åbnede for nylig et chipdesignkontor. Brancheobservatører siger, at OpenAI kan udrulle Jalapeño-chips i sine datacentre inden for det næste år. Nvidia forbliver markedsleder med stor margin, men testresultaterne viser, at udfordrerne er ved at lukke hullet. Andre virksomheder, herunder Google og Amazon, har også bygget brugerdefinerede AI-chips. Kapløbet om at designe bedre og billigere AI-hardware er nu et af de mest sete i teknologien. For OpenAI er chippen en del af en bredere strategi for at kontrollere sin egen computerfremtid, fra modeller til det silicium, de kører på.