맞춤형 칩, 테스트서 엔비디아 제쳐
OpenAI의 맞춤형 추론 칩(코드명 할라페뇨)이 이번 주 발표된 제3자 벤치마크 테스트에서 엔비디아 GB300을 능가했다. 이 칩은 사용자당 토큰 수와 에너지 효율성의 핵심 지표인 킬로와트당 처리량에서 앞섰다. 테스트는 OpenAI 자체가 아닌 독립 검토자들에 의해 실행됐다.
브로드컴과 공동 개발
할라페뇨 칩은 수년간의 파트너십 결과로 브로드컴과 함께 만들어졌다. OpenAI는 AI 칩 시장을 지배하는 엔비디아에 대한 의존도를 줄이기 위해 자체 실리콘 설계를 시작했다. 회사는 여전히 대량으로 엔비디아 프로세서를 구매하지만, 맞춤형 칩은 비용과 성능에 대한 더 큰 통제력을 제공한다.
결과의 의미
애널리스트들은 벤치마크 결과가 OpenAI의 하드웨어 추진에 있어 이정표라고 말했다. 칩이 잘 확장된다면 AI 컴퓨팅의 경제성을 바꿀 수 있다. 토큰당 에너지 사용량이 낮다는 것은 대규모 언어 모델의 운영 비용이 낮아진다는 것을 의미한다. OpenAI는 세계에서 가장 큰 AI 워크로드 중 일부를 실행하므로 작은 효율성 개선도 큰 절감으로 이어진다.
회사는 하드웨어 팀을 확장해 왔으며 최근 칩 설계 사무소를 열었다. 업계 관측통들은 OpenAI가 내년 안에 데이터 센터에 할라페뇨 칩을 배치할 수 있다고 말한다. 엔비디아는 여전히 압도적인 시장 선두주자이지만, 테스트 결과는 도전자들이 격차를 좁히고 있음을 보여준다. 구글과 아마존을 포함한 다른 회사들도 맞춤형 AI 칩을 만들었다. 더 좋고 저렴한 AI 하드웨어를 설계하기 위한 경쟁은 이제 기술 분야에서 가장 주목받는 대결 중 하나가 되었다. OpenAI에게 이 칩은 모델부터 그 모델이 실행되는 실리콘까지 자체 컴퓨팅 미래를 통제하려는 더 넓은 전략의 일부다.