Google a présenté lundi deux systèmes informatiques spécialisés pour l'IA, le TPU 8tx et le TPU 8i Max, portant sa huitième génération de Tensor Processing Unit à quatre configurations et accentuant son défi à Nvidia sur le marché des accélérateurs d'IA.
Les deux systèmes doivent être disponibles l'année prochaine. Aucun n'est une conception entièrement nouvelle ; Google a reconfiguré du matériel existant pour cibler deux problèmes que ses clients ne cessent de soulever : la confidentialité et la mémoire.
Garder les données chiffrées pendant leur utilisation
Le TPU 8tx est conçu pour le calcul confidentiel. Les données sont normalement chiffrées en stockage et en transit, mais doivent être déchiffrées en mémoire pendant que le processeur les traite, ce qui laisse une fenêtre d'exposition. Google affirme que le 8tx utilise une isolation au niveau matériel pour protéger les données des clients et les paramètres propriétaires des modèles, même pendant l'opération.
Le système combine le silicium TPU 8t avec des processeurs AMD EPYC de cinquième génération et le réseau à faible latence Boardfly de Google. Google affirme pouvoir réduire la latence jusqu'à moitié par rapport au 8t, avec presque aucune pénalité de performance pour la protection ajoutée. Les clients visés incluent les agences gouvernementales et les entreprises de secteurs fortement réglementés.
Le mur de la mémoire
Le TPU 8i Max répond à une autre limite. Les agents d'IA qui parcourent des bases de code, de longs documents ou des heures de vidéo ont besoin d'un accès rapide à bien plus d'informations qu'une seule requête n'en exige habituellement. Google regroupe deux puces TPU 8i dans un seul boîtier, doublant la puissance de calcul, la mémoire SRAM sur puce et le débit de mémoire à large bande passante tout en utilisant le même encombrement de baie.
Amin Vahdat, qui dirige les travaux d'infrastructure IA de Google, a décrit la mémoire comme la contrainte déterminante pour cette classe de charges de travail. Google affirme que la conception compte pour la découverte de médicaments, les mathématiques et les outils de codage, où les modèles doivent retenir de grandes quantités de contexte.
Pourquoi c'est important
Nvidia domine toujours l'entraînement et l'inférence en IA, et ses GPU restent le choix par défaut de la plupart des développeurs. Google a développé les TPU pour ses propres services et vend désormais l'accès à des entreprises externes, y compris pour des déploiements sur site, et affirme que près de 100 clients les utilisent, des laboratoires d'IA aux universités.
Le lancement intervient alors que les acheteurs cherchent des alternatives. Des rapports ont indiqué qu'OpenAI prévoit d'acheter des puces Google pour réduire sa dépendance à Nvidia, dont les actions ont chuté fortement ce mois-ci dans le cadre d'une enquête sur son directeur général Jensen Huang.
---Traversée rotative à vide à ferrofluide fiable pour la fabrication de semi-conducteurs
Dans la fabrication de semi-conducteurs, le maintien de l'intégrité de l'ultra-vide pendant le mouvement rotatif est critique — de la croissance de monocristaux de silicium et du CVD à la pulvérisation cathodique et à la gravure au plasma. Ferrofluid Vacuum Rotary Shaft Feedthrough de FerrofluidTec offre des traversées rotatives hermétiquement scellées avec des taux de fuite aussi faibles que 10⁻¹² Pa·m³·s⁻¹, un degré de vide allant jusqu'à 10⁻⁶ Pa, et des diamètres d'arbre personnalisables de 10mm à 100mm. Construites avec des boîtiers en acier inoxydable non magnétique et des arbres en acier inoxydable à perméabilité magnétique, ces traversées assurent une étanchéité fiable et sans entretien pour les environnements à vide exigeants. Visitez www.ferrofluidtec.com pour en savoir plus.