Google ha anunciado dos nuevas configuraciones dentro de su octava generación de Tensor Processing Units (TPU): la TPU 8tx, que integra capacidades de «confidential computing» en la ruta de datos mediante hosts AMD EPYC Turin, y la TPU 8i Max, que combina dos chips 8i en un solo paquete para abordar cuellos de botella de memoria en inferencia de gran contexto.
Qué cambia: seguridad en uso y más ancho de banda para inferencia
La TPU 8tx reutiliza la misma lógica de silicio de la variante de entrenamiento TPU 8t, pero Google la entrega en un sistema pensado para entornos regulados y modelos que procesan datos sensibles. La novedad es que el host CPU elegido son procesadores 5ª generación AMD EPYC «Turin» en configuración de doble zócalo, lo que permite un amplio conjunto de líneas PCIe Gen5 (según Google, 128 líneas en total) para alimentar cuatro aceleradores y tarjetas de red sin sobre-suscripción de E/S.
La característica clave para administradores y dueños de sitios es la adopción de confidential computing: además de cifrar datos en reposo y en tránsito, este enfoque cifra los datos mientras están en uso dentro de un entorno de ejecución aislado (trusted execution environment). Eso reduce la exposición de modelos y datos sensibles durante la inferencia en memoria.
TPU 8i Max: doble chip para romper la «memory wall»
La TPU 8i Max responde al problema opuesto: cuando la inferencia implica ventanas de contexto enormes—por ejemplo, agentes que procesan código completo o largos flujos de vídeo—el cuello de botella suele ser el ancho de banda de memoria, no la capacidad de cómputo. Google empaqueta dos chips 8i de baja latencia en un único multi-chip package, lo que duplica tanto el cómputo como la memoria SRAM on-chip y el ancho de banda HBM respecto a un 8i individual.
En la práctica, esto se traduce en mayor SRAM total y el doble de ancho de banda HBM, una configuración pensada para reducir latencias y evitar que las transferencias de memoria frenen modelos de inferencia de gran contexto.
Topologías de red adaptadas por caso de uso
Google continúa diferenciando el diseño de interconexión según la carga: las variantes orientadas a inferencia (TPU 8i y ahora 8tx) emplean la topología Boardfly, que reduce el diámetro máximo de saltos entre chips y baja la latencia para llamadas secuenciales de inferencia. Por el contrario, las TPU orientadas a entrenamiento usan una topología tipo torus con mayor diámetro de saltos. Para administradores esto significa que la elección del sistema afecta la latencia en cargas multi-paso y la eficiencia en despliegues de modelos en tiempo real.
Quiénes se benefician y qué deben hacer los administradores
- Empresas reguladas y gobiernos: la TPU 8tx permite mantener datos cifrados mientras se procesan, opción recomendable cuando la política de datos exige confidencialidad en memoria. Si la política impide sacar datos del enclave de confidencialidad, Google recomienda usar 8tx para inferencia y serving.
- Proveedores de servicios de inferencia y equipos que usan agentes de gran contexto: la TPU 8i Max ofrece más ancho de banda y SRAM para reducir cuellos de botella de memoria en inferencias de largas ventanas.
- Administradores de infraestructuras: deben evaluar requisitos de latencia, tamaño de contexto y políticas de datos para seleccionar la topología y el tipo de TPU adecuados; en cargas que necesitan confidencialidad en uso, priorizar sistemas con soporte de trusted execution environment.
Impacto para la industria de servidores
El emparejamiento de Google con AMD EPYC Turin para la variante 8tx es relevante porque implica integrar capacidades de confidential computing a nivel de plataforma en un gran hiperescalador. Para administradores y responsables de compras de infraestructura, es una señal de que las ofertas de aceleración de IA se están diversificando para cubrir requisitos de seguridad y memoria, no solo de rendimiento bruto.
Google ha mostrado que su estrategia pasa por ofrecer configuraciones de TPU adaptadas a distintos segmentos de la pila de IA y a distintos clientes: seguridad y cumplimiento en un extremo, y mayor ancho de banda para inferencia masiva en el otro.
Lee también:
- Noruega suspende temporalmente nuevas conexiones de red para centros de datos hasta actualizar la regulación
- MariaDB publica perfiles de rendimiento por subsistema para comparar coste en distintos hardware
Fuente: ServeTheHome
