Chip tùy chỉnh dẫn đầu
Chip suy luận tùy chỉnh của OpenAI, có tên mã là Jalapeno, đã đánh bại Nvidia GB300 trong các bài kiểm tra chuẩn của bên thứ ba. Chip này dẫn đầu về token trên mỗi người dùng và thông lượng trên mỗi kilowatt, theo kết quả kiểm tra được công bố trong tuần này.
Chip được xây dựng với Broadcom, một đối tác thiết kế bán dẫn lớn. Nó được xây dựng cho suy luận, giai đoạn mà các mô hình AI đã được huấn luyện trả lời câu hỏi. Đây là phần phổ biến nhất và đắt đỏ nhất của việc vận hành các dịch vụ AI ở quy mô lớn. Hầu hết các công ty AI chi nhiều hơn cho suy luận hơn là huấn luyện khi sản phẩm của họ đạt đến hàng triệu người dùng.
Tại sao các công ty AI muốn silicon riêng
OpenAI và các công ty AI khác chi tiêu mạnh cho GPU Nvidia. Năng lượng và chi phí là hai vấn đề lớn nhất. Chip tùy chỉnh cho phép các công ty kiểm soát cả hai, và họ có thể điều chỉnh phần cứng cho phù hợp với mô hình của riêng mình.
Công ty cho biết chip Jalapeno sử dụng ít năng lượng hơn trên mỗi token so với phần cứng đối thủ. Sử dụng ít năng lượng hơn có nghĩa là hóa đơn trung tâm dữ liệu nhỏ hơn và ít vấn đề làm mát hơn. Đối với một công ty xử lý hàng triệu yêu cầu mỗi ngày, những khoản tiết kiệm đó cộng lại nhanh chóng. Chip cũng cung cấp cho OpenAI một phương án dự phòng nếu nguồn cung GPU trở nên khan hiếm.
Ý nghĩa đối với thị trường chip
Kết quả này không có nghĩa là Nvidia đang mất thị trường AI. Nvidia vẫn bán phần lớn các bộ tăng tốc AI, và hệ sinh thái phần mềm của họ vẫn là lựa chọn mặc định cho các nhà phát triển. Nhưng chip tùy chỉnh đang chiếm thị phần ngày càng tăng, đặc biệt là cho khối lượng công việc suy luận.
Broadcom và Marvell là các đối tác thiết kế chính cho các chip tùy chỉnh này. Google, Amazon và Meta đã chạy silicon riêng của họ trong sản xuất. Động thái của OpenAI đưa một người mua lớn khác vào phe chip tùy chỉnh.
Chip vẫn đang trong giai đoạn đầu sản xuất. OpenAI có kế hoạch mở rộng quy mô trong các trung tâm dữ liệu của mình trong những tháng tới. Nếu kết quả chuẩn giữ vững trong sử dụng thực tế, các công ty AI khác có thể đi theo con đường tương tự, và cán cân quyền lực trong thị trường phần cứng AI có thể thay đổi theo thời gian.