Räätälöity piiri päihittää Nvidian testeissä
OpenAI:n räätälöity inferenssipiiri, koodinimeltään Jalapeño, päihitti Nvidian GB300:n kolmannen osapuolen vertailutesteissä tällä viikolla julkaistujen tulosten mukaan. Piiri johti tokeneissa käyttäjää kohti ja läpäisyssä kilowattia kohti, joka on keskeinen energiatehokkuuden mittari. Testit suorittivat riippumattomat arvioijat, eivät OpenAI itse.
Rakennettu Broadcomin kanssa
Jalapeño-piiri rakennettiin Broadcomin kanssa, monivuotisen kumppanuuden tuloksena. OpenAI aloitti oman piirinsä suunnittelun vähentääkseen riippuvuuttaan Nvidiasta, joka hallitsee tekoälypiirimarkkinoita. Yhtiö ostaa edelleen Nvidian prosessoreita suuria määriä, mutta räätälöidyt piirit antavat sille enemmän hallintaa kustannuksista ja suorituskyvystä.
Mitä tulokset tarkoittavat
Analyytikot sanoivat vertailutulosten olevan virstanpylväs OpenAI:n laitteistoponnistuksille. Jos piiri skaalautuu hyvin, se voi muuttaa tekoälylaskennan taloutta. Pienempi energiankulutus tokenia kohti tarkoittaa alhaisempia käyttökustannuksia suurille kielimalleille. OpenAI pyörittää joitakin maailman suurimmista tekoälytyökuormista, joten pienetkin tehokkuusparannukset muuttuvat suuriksi säästöiksi.
Yhtiö on laajentanut laitteistotiimiään ja avannut hiljattain piirisuunnittelutoimiston. Alan tarkkailijat sanovat, että OpenAI voisi ottaa Jalapeño-piirit käyttöön datakeskuksissaan ensi vuoden sisällä. Nvidia on edelleen markkinajohtaja selvällä marginaalilla, mutta testitulokset osoittavat, että haastajat ovat kuromassa eroa umpeen. Myös muut yritykset, kuten Google ja Amazon, ovat rakentaneet räätälöityjä tekoälypiirejä. Kilpailu parempien ja halvempien tekoälylaitteistojen suunnittelusta on nyt yksi seuratuimmista kilpailuista teknologiassa. OpenAI:lle piiri on osa laajempaa strategiaa hallita omaa laskentatulevaisuuttaan, malleista niiden suorittamiseen käytettävään piihin.