Google libera TPU Sync, la pieza que mueve la caché KV entre TPU, memoria y red

Google Cloud ha liberado como código abierto TPU Sync, una librería nativa en C++ que traslada bloques de caché KV y pesos de modelo entre la memoria HBM de las TPU, la DRAM del host, el almacenamiento compartido y la red del centro de datos. El proyecto, publicado bajo licencia Apache 2.0, ataca uno de los cuellos de botella menos visibles de la inferencia con contexto largo y del aprendizaje por refuerzo: no la capacidad de cálculo, sino el movimiento de datos entre niveles de memoria.

La librería se distribuye con paquetes de Python para JAX y PyTorch y expone tres APIs: un gestor de caché KV, un almacén de caché y un sincronizador de pesos. Esa separación es significativa. En servicio con contextos largos, el problema deja de ser calcular la atención y pasa a ser mover la caché entre nodos, mientras que en aprendizaje por refuerzo el coste está en propagar los pesos actualizados a los procesos que generan muestras. TPU Sync trata ambos casos como el mismo problema de transferencia jerárquica.

Las cifras que acompañan al anuncio son llamativas. Para Qwen3 235B, la latencia de transferencia de la caché KV baja de varios segundos a unos 230 milisegundos. En tiempo medio hasta el primer token, Google reporta reducciones del 60 % en ese modelo de 235.000 millones de parámetros y del 90 % en uno de 480.000 millones con poca concurrencia; el almacenamiento en caché de prefijos llega a recortar hasta el 90 % del tiempo medio hasta el primer token en cargas con contextos de 64.000 tokens. Son mediciones del propio proveedor sobre su hardware, así que sirven para entender el orden de magnitud del problema más que como garantía de resultado.

En cuanto a integración, TPU Sync funciona con vLLM-TorchTPU, SGLang-TorchTPU y llm-d 1.0 sobre GKE, e incluye módulos experimentales de aprendizaje por refuerzo para Pathways y para JAX multicontrolador. El repositorio en GitHub publica la documentación de arquitectura, las APIs de C++ y de Python y ejemplos de uso.

El interés para los equipos de plataforma va más allá de las TPU. Que un proveedor dedique una librería específica, en C++ y en abierto, al traslado de la caché KV confirma que la jerarquía de memoria se ha convertido en la variable que decide el coste por respuesta en servicio de modelos grandes. Quien esté dimensionando una plataforma de inferencia propia hará bien en medir cuánto de su latencia es transferencia y no cálculo: es la diferencia entre comprar más aceleradores y usar mejor los que ya tiene. Para quien trabaja con TPU en Google Cloud, además, la licencia Apache 2.0 permite estudiar y adaptar la pieza sin ataduras.

Más en Dataprix: contenidos sobre data science y machine learning

Fuente: InfoQ

Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.

Cada semana, estas noticias y lo mejor de Dataprix en tu correo

Suscribirme al boletín