Um chip personalizado assume a liderança
O chip de inferência personalizado da OpenAI, codinome Jalapeno, venceu o GB300 da Nvidia em testes de benchmark de terceiros. O chip liderou em tokens por usuário e throughput por quilowatt, de acordo com resultados de testes publicados esta semana.
O chip foi construído com a Broadcom, uma importante parceira de design de semicondutores. Ele é feito para inferência, o estágio em que modelos de IA treinados respondem perguntas. Essa é a parte mais comum e mais cara de operar serviços de IA em escala. A maioria das empresas de IA gasta muito mais com inferência do que com treinamento quando seus produtos alcançam milhões de usuários.
Por que empresas de IA querem seu próprio silício
A OpenAI e outras empresas de IA gastam pesadamente em GPUs da Nvidia. Energia e custo são os dois maiores problemas. Chips personalizados dão às empresas mais controle sobre ambos, e elas podem ajustar o hardware para seus próprios modelos.
A empresa diz que o chip Jalapeno usa menos energia por token do que hardware concorrente. Menor uso de energia significa contas menores de data center e menos problemas de resfriamento. Para uma empresa que processa milhões de solicitações por dia, essas economias se acumulam rapidamente. O chip também dá à OpenAI uma alternativa se o fornecimento de GPUs ficar apertado.
O que isso significa para o mercado de chips
O resultado não significa que a Nvidia está perdendo o mercado de IA. A Nvidia ainda vende a grande maioria dos aceleradores de IA, e seu ecossistema de software continua sendo a escolha padrão para desenvolvedores. Mas chips personalizados estão ganhando uma fatia crescente do mercado, especialmente para cargas de trabalho de inferência.
Broadcom e Marvell são os principais parceiros de design para esses chips personalizados. Google, Amazon e Meta já operam seu próprio silício em produção. O movimento da OpenAI coloca outro grande comprador no campo dos chips personalizados.
O chip ainda está nos estágios iniciais de produção. A OpenAI planeja expandi-lo em seus data centers nos próximos meses. Se os resultados de benchmark se mantiverem no uso real, outras empresas de IA podem seguir o mesmo caminho, e o equilíbrio de poder no mercado de hardware de IA pode mudar ao longo do tempo.