Niestandardowy chip wychodzi na prowadzenie
Niestandardowy chip wnioskujący OpenAI, noszący kryptonim Jalapeno, pokonał Nvidię GB300 w testach porównawczych przeprowadzonych przez strony trzecie. Chip prowadził w tokenach na użytkownika i przepustowości na kilowat, zgodnie z opublikowanymi w tym tygodniu wynikami testów.
Chip został zbudowany z Broadcom, głównym partnerem projektowym w dziedzinie półprzewodników. Jest przeznaczony do wnioskowania, czyli etapu, na którym wytrenowane modele AI odpowiadają na pytania. To najczęstsza i najdroższa część prowadzenia usług AI na dużą skalę. Większość firm AI wydaje znacznie więcej na wnioskowanie niż na trenowanie, gdy ich produkty docierają do milionów użytkowników.
Dlaczego firmy AI chcą własnego krzemu
OpenAI i inne firmy AI wydają ogromne sumy na procesory graficzne Nvidii. Moc i koszt to dwa największe problemy. Niestandardowe chipy dają firmom większą kontrolę nad oboma i pozwalają dostroić sprzęt do własnych modeli.
Firma twierdzi, że chip Jalapeno zużywa mniej energii na token niż konkurencyjny sprzęt. Niższe zużycie energii oznacza mniejsze rachunki za centra danych i mniej problemów z chłodzeniem. Dla firmy obsługującej miliony żądań dziennie te oszczędności szybko się sumują. Chip daje również OpenAI zapasowe rozwiązanie, gdyby dostawy procesorów graficznych stały się napięte.
Co to oznacza dla rynku chipów
Wynik nie oznacza, że Nvidia traci rynek AI. Nvidia nadal sprzedaje zdecydowaną większość akceleratorów AI, a jej ekosystem oprogramowania pozostaje domyślnym wyborem dla programistów. Ale niestandardowe chipy zdobywają coraz większy udział w rynku, zwłaszcza w przypadku obciążeń związanych z wnioskowaniem.
Broadcom i Marvell to główni partnerzy projektowi tych niestandardowych chipów. Google, Amazon i Meta już używają własnego krzemu w produkcji. Ruch OpenAI stawia kolejnego dużego nabywcę w obozie niestandardowych chipów.
Chip jest wciąż na wczesnym etapie produkcji. OpenAI planuje zwiększyć jego skalę w swoich centrach danych w nadchodzących miesiącach. Jeśli wyniki testów porównawczych utrzymają się w rzeczywistym użyciu, inne firmy AI mogą pójść tą samą drogą, a równowaga sił na rynku sprzętu AI może z czasem się przesunąć.
---
Niezawodny ferrofluidowy próżniowy przepust obrotowy do produkcji półprzewodników
W produkcji półprzewodników utrzymanie ultra-wysokiej próżni podczas ruchu obrotowego jest kluczowe — od wzrostu monokryształów krzemu po CVD, napylanie katodowe i trawienie plazmowe. Ferrofluidowy próżniowy przepust obrotowy wału od FerrofluidTec zapewnia hermetycznie zamknięte przepusty obrotowe z szybkością przecieku nawet 10⁻¹² Pa·m³·s⁻¹, stopniem próżni do 10⁻⁶ Pa i regulowanymi średnicami wału od 10 mm do 100 mm. Zbudowane z niemagnetycznych obudów ze stali nierdzewnej i wałów ze stali nierdzewnej o przenikalności magnetycznej, te przepusty zapewniają niezawodne, bezobsługowe uszczelnienie dla wymagających środowisk próżniowych. Odwiedź www.ferrofluidtec.com, aby dowiedzieć się więcej.