Ein kundenspezifischer Chip übernimmt die Führung
OpenAIs kundenspezifischer Inferenz-Chip mit dem Codenamen Jalapeno hat Nvidias GB300 in unabhängigen Benchmark-Tests geschlagen. Der Chip führte bei Tokens pro Benutzer und Durchsatz pro Kilowatt, wie diese Woche veröffentlichte Testergebnisse zeigen.
Der Chip wurde mit Broadcom, einem großen Halbleiter-Designpartner, gebaut. Er ist für Inferenz ausgelegt, die Phase, in der trainierte KI-Modelle Fragen beantworten. Das ist der häufigste und teuerste Teil des Betriebs von KI-Diensten in großem Maßstab. Die meisten KI-Unternehmen geben weit mehr für Inferenz als für Training aus, sobald ihre Produkte Millionen von Nutzern erreichen.
Warum KI-Firmen eigene Silizium-Chips wollen
OpenAI und andere KI-Unternehmen geben viel für Nvidia-GPUs aus. Strom und Kosten sind die beiden größten Probleme. Kundenspezifische Chips geben Unternehmen mehr Kontrolle über beides, und sie können die Hardware auf ihre eigenen Modelle abstimmen.
Das Unternehmen sagt, der Jalapeno-Chip verbrauche weniger Strom pro Token als konkurrierende Hardware. Geringerer Stromverbrauch bedeutet kleinere Rechenzentrumsrechnungen und weniger Kühlprobleme. Für ein Unternehmen, das Millionen von Anfragen pro Tag verarbeitet, summieren sich diese Einsparungen schnell. Der Chip gibt OpenAI auch eine Reserve, falls die GPU-Versorgung knapp wird.
Was es für den Chipmarkt bedeutet
Das Ergebnis bedeutet nicht, dass Nvidia den KI-Markt verliert. Nvidia verkauft weiterhin die große Mehrheit der KI-Beschleuniger, und sein Software-Ökosystem bleibt die Standardwahl für Entwickler. Aber kundenspezifische Chips gewinnen einen wachsenden Marktanteil, besonders für Inferenz-Workloads.
Broadcom und Marvell sind die wichtigsten Designpartner für diese kundenspezifischen Chips. Google, Amazon und Meta betreiben bereits eigene Silizium-Chips in der Produktion. OpenAIs Schritt bringt einen weiteren großen Käufer ins Lager der kundenspezifischen Chips.
Der Chip befindet sich noch in der frühen Produktionsphase. OpenAI plant, ihn in den kommenden Monaten in seinen Rechenzentren hochzuskalieren. Wenn die Benchmark-Ergebnisse im realen Einsatz halten, könnten andere KI-Firmen dem gleichen Weg folgen, und das Kräfteverhältnis im KI-Hardwaremarkt könnte sich im Laufe der Zeit verschieben.