Confluent publicó el 18 de agosto su lanzamiento trimestral de Confluent Cloud, y el titular es un cambio de arquitectura de producto: Apache Kafka y Apache Flink dejan de ser dos servicios contiguos para presentarse co-diseñados como un único producto serverless. El mensaje que acompaña al anuncio —«cada pilar de la plataforma ha evolucionado»— es de los que suelen envolver una lista de mejoras menores, pero en este caso hay piezas concretas detrás.
En procesamiento, la Table API de Flink alcanza disponibilidad general (Java en Google Cloud, Python en AWS) y se suma a las funciones definidas por el usuario (UDF) y a las Process Table Functions. Es la vía programática para quien no quiere expresarlo todo en SQL. En paralelo, la plataforma se orienta a los perfiles analíticos con integración nativa con dbt, de modo que las transformaciones en streaming se puedan gobernar con el mismo flujo de trabajo que las del almacén. Los Scaling Controls con Baseline CFU permiten fijar un suelo de capacidad para pipelines críticos, que es la respuesta al problema clásico del autoescalado: funciona bien de media y mal justo cuando importa.
El resto del lanzamiento se reparte entre escala, gobierno y seguridad. Los clústeres Freight admiten ahora transacciones y Enterprise sube hasta 32 eCKU; llega una vista de depuración para Kafka Streams y soporte de cliente Python para Queues for Kafka en preview. El Unified Stream Manager añade interfaz para Kafka Streams en entornos híbridos, Azure Private Link y alertas nativas. Tableflow —la materialización de topics como tablas Iceberg— suma conectividad privada hacia catálogos externos y cifrado con claves propias. Y en seguridad, los complementos OAuth para AWS IAM y Azure Managed Identities eliminan los secretos estáticos, se añade mTLS con revocación de certificados y filtrado por IP.
Para un equipo de ingeniería de datos, la lectura de fondo es la convergencia entre el mundo operacional y el analítico. Durante años, el streaming vivió en un carril propio, con su lenguaje, sus operadores y sus equipos; que Flink se integre con dbt y que los topics se expongan como tablas Iceberg empuja hacia un modelo donde el dato en movimiento y el dato en reposo se declaran y se gobiernan igual. Es una simplificación real de plantilla y de herramientas para organizaciones medianas, que rara vez pueden permitirse dos equipos separados.
Conviene, eso sí, medir antes de migrar. El coste de un pipeline con suelo de capacidad garantizado no es el de uno elástico, y la integración con dbt no elimina la semántica propia del streaming —ventanas, marcas de agua, estado— que sigue siendo la parte difícil. La recomendación práctica es empezar por un caso acotado con SLA claro y comparar factura y latencia contra la arquitectura actual.
Más en Dataprix: Análisis de herramientas de integración y streaming de datos.
Fuente: Confluent Blog.
Contenido elaborado con asistencia de inteligencia artificial y revisado editorialmente por el equipo de Dataprix.