En brugerdefineret chip tager føringen
OpenAIs brugerdefinerede inferenschip, kodenavnet Jalapeno, slog Nvidias GB300 i tredjeparts benchmarktest. Chippen førte på tokens per bruger og gennemstrømning per kilowatt, ifølge testresultater offentliggjort denne uge.
Chippen blev bygget med Broadcom, en stor halvlederdesignpartner. Den er bygget til inferens, den fase, hvor trænede AI-modeller besvarer spørgsmål. Det er den mest almindelige og dyreste del af at køre AI-tjenester i stor skala. De fleste AI-virksomheder bruger langt mere på inferens end på træning, når deres produkter når millioner af brugere.
Hvorfor AI-virksomheder vil have deres egen silicium
OpenAI og andre AI-virksomheder bruger store summer på Nvidia GPU'er. Strøm og omkostninger er de to største problemer. Brugerdefinerede chips giver virksomheder mere kontrol over begge dele, og de kan tune hardwaren til deres egne modeller.
Virksomheden siger, at Jalapeno-chippen bruger mindre strøm per token end konkurrerende hardware. Lavere strømforbrug betyder mindre datacenterregninger og færre køleproblemer. For en virksomhed, der kører millioner af anmodninger om dagen, lægger disse besparelser sig hurtigt. Chippen giver også OpenAI en backup, hvis GPU-forsyningen bliver stram.
Hvad det betyder for chipmarkedet
Resultatet betyder ikke, at Nvidia taber AI-markedet. Nvidia sælger stadig langt størstedelen af AI-acceleratorer, og dets softwareøkosystem forbliver standardvalget for udviklere. Men brugerdefinerede chips tager en voksende andel af markedet, især til inferensarbejdsbelastninger.
Broadcom og Marvell er de vigtigste designpartnere for disse brugerdefinerede chips. Google, Amazon og Meta kører allerede deres egen silicium i produktion. OpenAIs træk placerer endnu en stor køber i den brugerdefinerede chip-lejr.
Chippen er stadig i de tidlige produktionsfaser. OpenAI planlægger at skalere den op i sine datacentre i de kommende måneder. Hvis benchmarkresultaterne holder i reel brug, kan andre AI-virksomheder følge samme vej, og magtbalancen på AI-hardwaremarkedet kan skifte over tid.