Özel bir çip öne geçiyor
OpenAI'nin kod adı Jalapeno olan özel çıkarım çipi, üçüncü taraf kıyaslama testlerinde Nvidia'nın GB300'ünü yendi. Bu hafta yayınlanan test sonuçlarına göre çip, kullanıcı başına token ve kilovat başına verimde öne geçti.
Çip, büyük bir yarı iletken tasarım ortağı olan Broadcom ile üretildi. Eğitilmiş yapay zeka modellerinin soruları yanıtladığı aşama olan çıkarım için üretildi. Bu, yapay zeka hizmetlerini ölçekte çalıştırmanın en yaygın ve en pahalı kısmıdır. Çoğu yapay zeka şirketi, ürünleri milyonlarca kullanıcıya ulaştığında eğitimden çok çıkarıma çok daha fazla harcar.
Yapay zeka firmaları neden kendi silikonlarını istiyor
OpenAI ve diğer yapay zeka şirketleri Nvidia GPU'larına çok para harcıyor. Güç ve maliyet en büyük iki sorundur. Özel çipler, şirketlere her ikisi üzerinde daha fazla kontrol verir ve donanımı kendi modellerine göre ayarlayabilirler.
Şirket, Jalapeno çipinin rakip donanımdan token başına daha az güç kullandığını söylüyor. Daha düşük güç kullanımı, daha küçük veri merkezi faturaları ve daha az soğutma sorunu anlamına gelir. Günde milyonlarca istek çalıştıran bir firma için bu tasarruflar hızla birikir. Çip ayrıca GPU arzı sıkılaşırsa OpenAI'ye bir yedek sağlar.
Çip piyasası için anlamı
Sonuç, Nvidia'nın yapay zeka pazarını kaybettiği anlamına gelmiyor. Nvidia hâlâ yapay zeka hızlandırıcılarının büyük çoğunluğunu satıyor ve yazılım ekosistemi geliştiriciler için varsayılan seçim olmaya devam ediyor. Ancak özel çipler, özellikle çıkarım iş yükleri için pazarda artan bir pay alıyor.
Broadcom ve Marvell, bu özel çipler için ana tasarım ortaklarıdır. Google, Amazon ve Meta zaten üretimde kendi silikonlarını çalıştırıyor. OpenAI'nin hamlesi, özel çip kampına bir büyük alıcı daha ekliyor.
Çip hâlâ üretimin erken aşamalarında. OpenAI, önümüzdeki aylarda veri merkezlerinde ölçeğini artırmayı planlıyor. Kıyaslama sonuçları gerçek kullanımda geçerli olursa, diğer yapay zeka firmaları aynı yolu izleyebilir ve yapay zeka donanım pazarındaki güç dengesi zamanla değişebilir.