커스텀 칩이 선두를 차지하다
오픈AI의 커스텀 추론 칩(코드명 할라페뇨)이 타사 벤치마크 테스트에서 엔비디아의 GB300을 이겼습니다. 이번 주에 발표된 테스트 결과에 따르면 이 칩은 사용자당 토큰 수와 킬로와트당 처리량에서 앞섰습니다.
이 칩은 주요 반도체 설계 파트너인 브로드컴과 함께 제작되었습니다. 훈련된 AI 모델이 질문에 답하는 추론 단계를 위해 설계되었습니다. 이것은 AI 서비스를 대규모로 운영할 때 가장 일반적이고 가장 비용이 많이 드는 부분입니다. 대부분의 AI 기업은 제품이 수백만 사용자에게 도달하면 훈련보다 추론에 훨씬 더 많은 비용을 지출합니다.
AI 기업들이 자체 실리콘을 원하는 이유
오픈AI와 다른 AI 기업들은 엔비디아 GPU에 막대한 비용을 지출합니다. 전력과 비용이 가장 큰 두 가지 문제입니다. 커스텀 칩은 기업에게 두 가지 모두에 대한 더 많은 통제권을 제공하며 자체 모델에 맞게 하드웨어를 조정할 수 있습니다.
회사는 할라페뇨 칩이 경쟁 하드웨어보다 토큰당 전력 소비가 적다고 말합니다. 전력 사용량이 낮다는 것은 데이터 센터 비용이 줄어들고 냉각 문제가 줄어든다는 것을 의미합니다. 하루에 수백만 건의 요청을 처리하는 기업에게 이러한 절감 효과는 빠르게 누적됩니다. 이 칩은 또한 GPU 공급이 부족해질 경우 오픈AI에게 백업 옵션을 제공합니다.
칩 시장에 미치는 의미
이 결과가 엔비디아가 AI 시장에서 지고 있다는 것을 의미하지는 않습니다. 엔비디아는 여전히 AI 가속기의 대부분을 판매하고 있으며 소프트웨어 생태계는 개발자들의 기본 선택으로 남아 있습니다. 그러나 커스텀 칩은 특히 추론 워크로드에서 시장 점유율을 점점 더 늘려가고 있습니다.
브로드컴과 마벨이 이러한 커스텀 칩의 주요 설계 파트너입니다. 구글, 아마존, 메타는 이미 자체 실리콘을 생산에 사용하고 있습니다. 오픈AI의 움직임은 또 다른 대형 구매자를 커스텀 칩 진영에 합류시킵니다.
이 칩은 아직 생산 초기 단계에 있습니다. 오픈AI는 앞으로 몇 달 안에 데이터 센터에서 칩을 확장할 계획입니다. 벤치마크 결과가 실제 사용에서도 유지된다면 다른 AI 기업들도 같은 길을 따를 수 있으며, AI 하드웨어 시장의 세력 균형이 시간이 지남에 따라 바뀔 수 있습니다.