Oma siru ottaa johtoaseman
OpenAI:n oma päätelmäsiru, koodinimeltään Jalapeno, päihitti Nvidian GB300:n kolmannen osapuolen vertailutesteissä. Siru johti tokeneissa käyttäjää kohti ja läpäisyssä kilowattia kohti tällä viikolla julkaistujen testitulosten mukaan.
Siru on rakennettu Broadcomin, merkittävän puolijohdesuunnittelukumppanin, kanssa. Se on suunniteltu päätelmään, vaiheeseen, jossa koulutetut tekoälymallit vastaavat kysymyksiin. Tämä on yleisin ja kallein osa tekoälypalveluiden pyörittämistä mittakaavassa. Useimmat tekoälyyritykset käyttävät paljon enemmän rahaa päätelmään kuin koulutukseen, kun heidän tuotteensa saavuttavat miljoonia käyttäjiä.
Miksi tekoälyyritykset haluavat oman piinsä
OpenAI ja muut tekoälyyritykset käyttävät paljon rahaa Nvidian GPU:ihin. Teho ja hinta ovat kaksi suurinta ongelmaa. Räätälöidyt sirut antavat yrityksille enemmän hallintaa molempiin, ja ne voivat virittää laitteiston omiin malleihinsa.
Yritys sanoo, että Jalapeno-siru käyttää vähemmän tehoa tokenia kohti kuin kilpaileva laitteisto. Pienempi virrankulutus tarkoittaa pienempiä datakeskuslaskuja ja vähemmän jäähdytysongelmia. Yritykselle, joka käsittelee miljoonia pyyntöjä päivässä, nämä säästöt kertyvät nopeasti. Siru antaa myös OpenAI:lle varajärjestelmän, jos GPU-tarjonta kiristyy.
Mitä se tarkoittaa sirumarkkinoille
Tulos ei tarkoita, että Nvidia menettää tekoälymarkkinoita. Nvidia myy edelleen suurimman osan tekoälykiihdyttimistä, ja sen ohjelmistoekosysteemi on edelleen kehittäjien oletusvalinta. Mutta räätälöidyt sirut ottavat kasvavan osuuden markkinoista, erityisesti päätelmätyökuormissa.
Broadcom ja Marvell ovat tärkeimmät suunnittelukumppanit näille räätälöidyille siruille. Google, Amazon ja Meta käyttävät jo omaa piitään tuotannossa. OpenAI:n siirto tuo toisen suuren ostajan räätälöityjen sirujen leiriin.
Siru on vielä varhaisessa tuotantovaiheessa. OpenAI suunnittelee sen skaalaamista datakeskuksissaan tulevien kuukausien aikana. Jos vertailutulokset pitävät paikkansa todellisessa käytössä, muut tekoälyyritykset voivat seurata samaa polkua, ja tekoälylaitteistomarkkinoiden voimatasapaino voi muuttua ajan myötä.