定制芯片测试领先英伟达
OpenAI代号“Jalapeño”的定制推理芯片在第三方基准测试中击败英伟达GB300,本周公布的结果显示,该芯片在每用户令牌数和每千瓦吞吐量(衡量能效的关键指标)方面领先。测试由独立评审方运行,而非OpenAI自身。
与博通合作打造
Jalapeño芯片是与博通合作多年研发的成果。OpenAI开始设计自己的芯片,以减少对主导AI芯片市场的英伟达的依赖。公司仍大量采购英伟达处理器,但定制芯片使其在成本和性能上有更多控制权。
结果意味着什么
分析师表示,基准测试结果是OpenAI硬件推进的里程碑。如果该芯片能良好扩展,可能改变AI计算的经济性。每令牌更低的能耗意味着大型语言模型更低的运营成本。OpenAI运行着全球最大的AI工作负载之一,即使微小的效率提升也能转化为巨大节省。
公司一直在扩充硬件团队,最近开设了芯片设计办公室。行业观察人士称,OpenAI可能在一年内将Jalapeño芯片部署到其数据中心。英伟达仍以巨大优势保持市场领先,但测试结果显示挑战者正在缩小差距。谷歌和亚马逊等公司也开发了定制AI芯片。设计更好、更便宜的AI硬件竞赛已成为科技领域最受关注的竞争之一。对OpenAI而言,该芯片是其控制自身计算未来(从模型到运行芯片)的更广泛战略的一部分。