Chip tùy chỉnh vượt Nvidia trong các bài kiểm tra
Chip suy luận tùy chỉnh của OpenAI, có tên mã Jalapeño, đã đánh bại Nvidia GB300 trong các bài kiểm tra chuẩn của bên thứ ba, theo kết quả được công bố trong tuần này. Chip dẫn đầu về token trên mỗi người dùng và thông lượng trên mỗi kilowatt, một thước đo quan trọng về hiệu quả năng lượng. Các bài kiểm tra được chạy bởi các nhà đánh giá độc lập, không phải bởi chính OpenAI.
Được xây dựng với Broadcom
Chip Jalapeño được xây dựng với Broadcom, kết quả của mối quan hệ hợp tác nhiều năm. OpenAI bắt đầu thiết kế silicon của riêng mình để giảm sự phụ thuộc vào Nvidia, công ty thống trị thị trường chip AI. Công ty vẫn mua bộ xử lý Nvidia với số lượng lớn, nhưng chip tùy chỉnh cho phép họ kiểm soát tốt hơn chi phí và hiệu suất.
Kết quả có ý nghĩa gì
Các nhà phân tích cho biết kết quả chuẩn là một cột mốc cho nỗ lực phần cứng của OpenAI. Nếu chip mở rộng tốt, nó có thể thay đổi kinh tế của điện toán AI. Sử dụng năng lượng thấp hơn trên mỗi token có nghĩa là chi phí vận hành thấp hơn cho các mô hình ngôn ngữ lớn. OpenAI chạy một số khối lượng công việc AI lớn nhất thế giới, vì vậy ngay cả những cải thiện hiệu quả nhỏ cũng chuyển thành khoản tiết kiệm lớn.
Công ty đã mở rộng đội ngũ phần cứng và gần đây đã mở một văn phòng thiết kế chip. Các nhà quan sát ngành cho biết OpenAI có thể triển khai chip Jalapeño trong các trung tâm dữ liệu của mình trong năm tới. Nvidia vẫn là nhà lãnh đạo thị trường với biên độ rộng, nhưng kết quả kiểm tra cho thấy các thách thức đang thu hẹp khoảng cách. Các công ty khác, bao gồm Google và Amazon, cũng đã xây dựng chip AI tùy chỉnh. Cuộc đua thiết kế chip AI tốt hơn và rẻ hơn hiện là một trong những cuộc cạnh tranh được theo dõi nhiều nhất trong công nghệ. Đối với OpenAI, chip là một phần của chiến lược rộng lớn hơn để kiểm soát tương lai điện toán của chính mình, từ mô hình đến silicon mà chúng chạy trên đó.