Собственный чип превосходит Nvidia в тестах
Собственный чип для инференса OpenAI, получивший кодовое название Jalapeño, превзошел Nvidia GB300 в сторонних бенчмарк-тестах, согласно результатам, опубликованным на этой неделе. Чип лидировал по токенам на пользователя и пропускной способности на киловатт — ключевому показателю энергоэффективности. Тесты проводились независимыми экспертами, а не самой OpenAI.
Создан с Broadcom
Чип Jalapeño был создан с Broadcom в рамках многолетнего партнерства. OpenAI начала проектировать собственные чипы, чтобы снизить зависимость от Nvidia, которая доминирует на рынке чипов для ИИ. Компания по-прежнему закупает процессоры Nvidia в больших объемах, но собственные чипы дают ей больше контроля над стоимостью и производительностью.
Что означают результаты
Аналитики заявили, что результаты бенчмарков — важная веха для аппаратного направления OpenAI. Если чип хорошо масштабируется, это может изменить экономику ИИ-вычислений. Меньшее энергопотребление на токен означает более низкие операционные расходы для больших языковых моделей. OpenAI запускает одни из самых масштабных ИИ-нагрузок в мире, поэтому даже небольшая экономия эффективности приводит к значительной экономии средств.
Компания расширяет свою аппаратную команду и недавно открыла офис по проектированию чипов. Наблюдатели отрасли говорят, что OpenAI может развернуть чипы Jalapeño в своих центрах обработки данных в течение следующего года. Nvidia остается лидером рынка с большим отрывом, но результаты тестов показывают, что конкуренты сокращают разрыв. Другие компании, включая Google и Amazon, также создали собственные чипы для ИИ. Гонка за создание лучших и более дешевых ИИ-чипов сейчас одна из самых наблюдаемых в технологиях. Для OpenAI чип — часть более широкой стратегии по контролю над собственным вычислительным будущим, от моделей до кремния, на котором они работают.