कस्टम चिप आगे
OpenAI की कस्टम इंफेरेंस चिप, कोड-नाम जलापेनो, ने तीसरे पक्ष के बेंचमार्क परीक्षणों में Nvidia के GB300 को हराया। इस सप्ताह प्रकाशित परीक्षण परिणामों के अनुसार, चिप ने प्रति उपयोगकर्ता टोकन और प्रति किलोवाट थ्रूपुट में बढ़त बनाई।
चिप ब्रॉडकॉम के साथ बनाई गई थी, जो एक प्रमुख सेमीकंडक्टर डिजाइन पार्टनर है। यह इंफेरेंस के लिए बनाई गई है, वह चरण जहां प्रशिक्षित AI मॉडल सवालों के जवाब देते हैं। यह बड़े पैमाने पर AI सेवाएं चलाने का सबसे आम और सबसे महंगा हिस्सा है। अधिकांश AI कंपनियां अपने उत्पादों तक लाखों उपयोगकर्ताओं तक पहुंचने के बाद प्रशिक्षण की तुलना में इंफेरेंस पर कहीं अधिक खर्च करती हैं।
AI फर्में अपना सिलिकॉन क्यों चाहती हैं
OpenAI और अन्य AI कंपनियां Nvidia GPU पर भारी खर्च करती हैं। बिजली और लागत दो सबसे बड़ी समस्याएं हैं। कस्टम चिप्स कंपनियों को दोनों पर अधिक नियंत्रण देते हैं, और वे हार्डवेयर को अपने स्वयं के मॉडल के अनुसार ट्यून कर सकते हैं।
कंपनी का कहना है कि जलापेनो चिप प्रतिद्वंद्वी हार्डवेयर की तुलना में प्रति टोकन कम बिजली का उपयोग करती है। कम बिजली उपयोग का मतलब छोटे डेटा सेंटर बिल और कम कूलिंग समस्याएं हैं। एक फर्म के लिए जो दिन में लाखों अनुरोध चलाती है, वे बचत जल्दी बढ़ जाती हैं। चिप OpenAI को GPU आपूर्ति तंग होने पर बैकअप भी देती है।
चिप बाजार के लिए इसका क्या मतलब है
इस परिणाम का मतलब यह नहीं है कि Nvidia AI बाजार खो रहा है। Nvidia अभी भी अधिकांश AI एक्सेलेरेटर बेचता है, और इसका सॉफ्टवेयर इकोसिस्टम डेवलपर्स के लिए डिफ़ॉल्ट विकल्प बना हुआ है। लेकिन कस्टम चिप्स बाजार का बढ़ता हिस्सा ले रही हैं, खासकर इंफेरेंस वर्कलोड के लिए।
ब्रॉडकॉम और मार्वेल इन कस्टम चिप्स के मुख्य डिजाइन पार्टनर हैं। Google, Amazon और Meta पहले से ही अपने स्वयं के सिलिकॉन का उत्पादन में उपयोग करते हैं। OpenAI का कदम कस्टम चिप शिविर में एक और बड़ा खरीदार जोड़ता है।
चिप अभी भी उत्पादन के शुरुआती चरण में है। OpenAI आने वाले महीनों में अपने डेटा केंद्रों में इसे बढ़ाने की योजना बना रहा है। यदि बेंचमार्क परिणाम वास्तविक उपयोग में बने रहते हैं, तो अन्य AI फर्में भी उसी रास्ते पर चल सकती हैं, और AI हार्डवेयर बाजार में शक्ति का संतुलन समय के साथ बदल सकता है।