ชิปแบบกำหนดเองนำหน้า
ชิปอินเฟอเรนซ์แบบกำหนดเองของโอเพนเอไอ รหัสชื่อจาลาเปโญ ชนะ GB300 ของเอ็นวิเดียในการทดสอบมาตรฐานของบุคคลที่สาม ชิปนำในด้านโทเคนต่อผู้ใช้และปริมาณงานต่อกิโลวัตต์ ตามผลการทดสอบที่เผยแพร่ในสัปดาห์นี้
ชิปสร้างร่วมกับบรอดคอม พันธมิตรออกแบบเซมิคอนดักเตอร์รายใหญ่ สร้างขึ้นสำหรับอินเฟอเรนซ์ ซึ่งเป็นขั้นตอนที่โมเดล AI ที่ผ่านการฝึกตอบคำถาม นี่เป็นส่วนที่พบบ่อยที่สุดและแพงที่สุดในการให้บริการ AI ในระดับใหญ่ บริษัท AI ส่วนใหญ่ใช้จ่ายกับอินเฟอเรนซ์มากกว่าการฝึกอบรมเมื่อผลิตภัณฑ์ถึงผู้ใช้หลายล้านคน
ทำไมบริษัท AI ต้องการซิลิคอนของตัวเอง
โอเพนเอไอและบริษัท AI อื่นๆ ใช้จ่ายจำนวนมากกับ GPU ของเอ็นวิเดีย พลังงานและต้นทุนเป็นสองปัญหาที่ใหญ่ที่สุด ชิปแบบกำหนดเองให้บริษัทควบคุมทั้งสองอย่างได้มากขึ้น และสามารถปรับฮาร์ดแวร์ให้เข้ากับโมเดลของตนเองได้
บริษัทกล่าวว่าชิปจาลาเปโญใช้พลังงานต่อโทเคนน้อยกว่าฮาร์ดแวร์คู่แข่ง การใช้พลังงานที่ต่ำกว่าหมายถึงค่าใช้จ่ายศูนย์ข้อมูลที่เล็กลงและปัญหาการระบายความร้อนน้อยลง สำหรับบริษัทที่ประมวลผลคำขอล้านครั้งต่อวัน การประหยัดเหล่านั้นเพิ่มขึ้นอย่างรวดเร็ว ชิปยังให้โอเพนเอไอมีทางสำรองหากอุปทาน GPU ตึงตัว
ความหมายต่อตลาดชิป
ผลลัพธ์ไม่ได้หมายความว่าเอ็นวิเดียกำลังแพ้ตลาด AI เอ็นวิเดียยังคงขายตัวเร่ง AI ส่วนใหญ่ และระบบนิเวศซอฟต์แวร์ยังคงเป็นตัวเลือกเริ่มต้นสำหรับนักพัฒนา แต่ชิปแบบกำหนดเองกำลังครองส่วนแบ่งตลาดที่เพิ่มขึ้น โดยเฉพาะสำหรับงานอินเฟอเรนซ์
บรอดคอมและมาร์เวลล์เป็นพันธมิตรออกแบบหลักสำหรับชิปแบบกำหนดเองเหล่านี้ กูเกิล อเมซอน และเมตาดำเนินการซิลิคอนของตนเองในการผลิตแล้ว การเคลื่อนไหวของโอเพนเอไอทำให้ผู้ซื้อรายใหญ่อีกรายเข้าสู่ค่ายชิปแบบกำหนดเอง
ชิปยังอยู่ในช่วงเริ่มต้นของการผลิต โอเพนเอไอวางแผนขยายขนาดในศูนย์ข้อมูลในอีกไม่กี่เดือนข้างหน้า หากผลการทดสอบมาตรฐานคงอยู่ในการใช้งานจริง บริษัท AI อื่นๆ อาจเดินตามเส้นทางเดียวกัน และสมดุลอำนาจในตลาดฮาร์ดแวร์ AI อาจเปลี่ยนไปตามกาลเวลา