Google ha presentato lunedì due sistemi specializzati di calcolo per l'IA, il TPU 8tx e il TPU 8i Max, ampliando la sua ottava generazione di Tensor Processing Unit a quattro configurazioni e affilando la sua sfida a Nvidia nel mercato degli acceleratori per l'IA.
Entrambi i sistemi saranno disponibili dal prossimo anno. Nessuno dei due è un progetto di silicio completamente nuovo; Google ha riconfigurato hardware esistente per affrontare due problemi che i suoi clienti continuano a sollevare: la privacy e la memoria.
Mantenere i dati crittografati mentre vengono utilizzati
Il TPU 8tx è progettato per il calcolo riservato. I dati sono normalmente crittografati in archiviazione e in transito, ma devono essere decrittografati in memoria mentre un processore li elabora, il che lascia una finestra di esposizione. Google afferma che l'8tx utilizza l'isolamento a livello hardware per proteggere i dati dei clienti e i parametri proprietari dei modelli anche durante l'operazione.
Il sistema combina il silicio TPU 8t con processori AMD EPYC di quinta generazione e la rete a bassa latenza Boardfly di Google. Google sostiene di poter ridurre la latenza fino alla metà rispetto all'8t, con quasi nessuna penalizzazione delle prestazioni per la protezione aggiuntiva. I clienti target includono agenzie governative e aziende in settori fortemente regolamentati.
Il muro della memoria
Il TPU 8i Max affronta un limite diverso. Gli agenti di IA che leggono basi di codice, documenti lunghi o ore di video necessitano di un accesso rapido a molte più informazioni di quante ne richieda di solito una singola richiesta. Google impacchetta due chip TPU 8i in un unico package, raddoppiando la potenza di calcolo, la SRAM on-chip e la larghezza di banda della memoria ad alta velocità mantenendo lo stesso ingombro del rack.
Amin Vahdat, che guida il lavoro sull'infrastruttura IA di Google, ha descritto la memoria come il vincolo determinante per questa classe di carichi di lavoro. Google afferma che il design è importante per la scoperta di farmaci, la matematica e gli strumenti di programmazione, dove i modelli devono mantenere grandi quantità di contesto.
Perché è importante
Nvidia domina ancora l'addestramento e l'inferenza dell'IA e le sue GPU restano la scelta predefinita per la maggior parte degli sviluppatori. Google ha sviluppato le TPU per i propri servizi e ora vende l'accesso a aziende esterne, anche con implementazioni on-premises, e afferma che quasi 100 clienti le utilizzano, dai laboratori di IA alle università.
Il lancio arriva mentre gli acquirenti cercano alternative. Secondo quanto riportato, OpenAI prevede di acquistare chip Google per ridurre la dipendenza da Nvidia, le cui azioni sono fortemente calate questo mese a causa di un'indagine sull'amministratore delegato Jensen Huang.
---Passaggio rotante sottovuoto a ferrofluido affidabile per la produzione di semiconduttori
Nella produzione di semiconduttori, mantenere l'integrità dell'ultra-alto vuoto durante il movimento rotatorio è critico — dalla crescita di monocristalli di silicio e CVD allo sputtering e all'incisione al plasma. Ferrofluid Vacuum Rotary Shaft Feedthrough di FerrofluidTec offre passaggi rotanti ermeticamente sigillati con tassi di perdita fino a 10⁻¹² Pa·m³·s⁻¹, grado di vuoto fino a 10⁻⁶ Pa e diametri dell'albero personalizzabili da 10mm a 100mm. Costruiti con alloggiamenti in acciaio inossidabile non magnetico e alberi in acciaio inossidabile a permeabilità magnetica, questi passaggi forniscono una tenuta affidabile e senza manutenzione per ambienti a vuoto impegnativi. Visitate www.ferrofluidtec.com per saperne di più.