Собственный чип выходит в лидеры
Собственный чип для инференса от OpenAI, получивший кодовое название Jalapeno, превзошел Nvidia GB300 в сторонних бенчмарк-тестах. Чип лидировал по токенам на пользователя и пропускной способности на киловатт, согласно опубликованным на этой неделе результатам тестов.
Чип был создан с Broadcom, крупным партнером по проектированию полупроводников. Он предназначен для инференса — этапа, на котором обученные модели ИИ отвечают на вопросы. Это самая распространенная и самая дорогая часть работы ИИ-сервисов в масштабе. Большинство ИИ-компаний тратят гораздо больше на инференс, чем на обучение, когда их продукты достигают миллионов пользователей.
Почему ИИ-фирмы хотят собственный кремний
OpenAI и другие ИИ-компании тратят огромные средства на GPU от Nvidia. Энергопотребление и стоимость — две самые большие проблемы. Собственные чипы дают компаниям больше контроля над обоими аспектами, и они могут настраивать оборудование под свои модели.
Компания заявляет, что чип Jalapeno потребляет меньше энергии на токен, чем конкурирующее оборудование. Более низкое энергопотребление означает меньшие счета за дата-центры и меньше проблем с охлаждением. Для фирмы, обрабатывающей миллионы запросов в день, эта экономия быстро накапливается. Чип также дает OpenAI запасной вариант, если поставки GPU станут ограниченными.
Что это значит для рынка чипов
Результат не означает, что Nvidia теряет рынок ИИ. Nvidia по-прежнему продает подавляющее большинство ИИ-ускорителей, а ее программная экосистема остается выбором по умолчанию для разработчиков. Но собственные чипы занимают растущую долю рынка, особенно для задач инференса.
Broadcom и Marvell — основные партнеры по проектированию этих собственных чипов. Google, Amazon и Meta уже используют собственный кремний в производстве. Шаг OpenAI ставит еще одного крупного покупателя в лагерь собственных чипов.
Чип все еще находится на ранней стадии производства. OpenAI планирует масштабировать его в своих дата-центрах в ближайшие месяцы. Если результаты бенчмарков подтвердятся в реальном использовании, другие ИИ-фирмы могут последовать тому же пути, и баланс сил на рынке ИИ-оборудования может со временем сместиться.