El PMC de Apache Flink publicó el 25 de junio Apache Flink 2.3.0, una nueva versión mayor del motor de procesamiento de flujos que amplía de forma notable sus capacidades SQL y refuerza el rendimiento en entornos cloud. La entrega consolida la línea 2.x, orientada a un modelo unificado de streaming y batch, y llega en un momento en que el procesamiento en tiempo real se ha vuelto pieza central de las arquitecturas analíticas y de IA.
La novedad más visible para los equipos de ingeniería es la incorporación de nuevos operadores SQL para la manipulación de changelogs: FROM_CHANGELOG y TO_CHANGELOG permiten convertir explícitamente entre flujos de cambios y tablas, un punto que hasta ahora exigía rodeos y conocimiento profundo de la semántica interna de Flink. Se suman un control más fino sobre las estrategias de refresco de las materialized tables y la selección adaptativa de particiones para gestionar mejor la contrapresión (backpressure).
En el plano de infraestructura, la versión estrena un filesystem S3 nativo de alto rendimiento, reescrito sobre el SDK v2 de AWS, que sustituye a la implementación anterior basada en Hadoop y reduce dependencias y latencia en el acceso al almacenamiento de objetos. Se incorporan además mejoras en la gestión de aplicaciones y en la operación del clúster, en la dirección de simplificar el despliegue de Flink como servicio.
Para un arquitecto de datos, la relevancia está en el patrón que consolida Flink: acercar el streaming al modelo declarativo y tabular que los equipos ya dominan en batch. Los operadores de changelog y las materialized tables reducen la distancia entre construir un pipeline en tiempo real y escribir SQL analítico, lo que baja la barrera de entrada a un dominio tradicionalmente reservado a especialistas. El nuevo filesystem S3, por su parte, tiene efecto directo en coste y rendimiento de las cargas que descargan estado y checkpoints sobre almacenamiento de objetos.
El lanzamiento encaja con el movimiento del sector hacia Flink como estándar de procesamiento de flujos —refrendado por su papel central en las ofertas gestionadas de Confluent y otros— y con la convergencia entre datos en movimiento y datos en reposo. Conviene, como siempre en una versión mayor, validar la compatibilidad de conectores y trabajos propios en un entorno de pruebas antes de actualizar producción.
Más en Dataprix: Análisis de plataformas de integración y streaming de datos.
Fuente: Apache Flink Blog.