La comunidad de Apache Flink publicó el 10 de octubre la versión 3.7.0 de Flink CDC, su herramienta de captura de cambios. La novedad de cabecera es una API de cliente de modelo conectable, con una implementación compatible con la interfaz de OpenAI, que permite invocar generación de texto y cálculo de embeddings desde dentro del propio pipeline de replicación. En el lanzamiento participaron 33 contribuidores y no se declaran cambios incompatibles.
Sobre esa API, la versión incorpora funciones predefinidas para completado, clasificación, traducción, resumen y análisis de sentimiento, con selección dinámica de modelo por registro. Es decir: la transformación de cada fila puede decidir a qué modelo va según su contenido. El bloque transform gana además funciones definidas por el usuario escritas en Python y declaradas directamente en el YAML del pipeline, sin empaquetado Java intermedio.
La otra mitad del lanzamiento es más convencional y probablemente más útil en el día a día. Llegan dos conectores de origen nuevos para pipelines: SQL Server, con instantánea incremental, sincronización de esquema y descubrimiento de tablas tras restaurar desde un punto de control; y Apache Fluss, con lectura de tablas de clave primaria y de log y descubrimiento periódico. La gestión de esquemas estrena modos de validación y expansión —CHECK, TRY_EXPAND y EXPAND— que permiten escribir sobre tablas de destino ya existentes y ensanchar columnas sin romper la carga. Paimon, Hudi, Iceberg, Kafka, Elasticsearch, StarRocks, Oracle y MaxCompute reciben correcciones y mejoras de compatibilidad.
La lectura para un equipo de datos es doble. Por un lado, los modos de validación de esquema y el conector de SQL Server resuelven dos de las fricciones habituales al montar replicación continua contra un destino que ya está en producción, y son razón suficiente para mirar la versión. Por otro, meter llamadas a un modelo de lenguaje en el camino caliente de la replicación es una decisión de arquitectura que conviene pensar despacio: añade latencia variable, un punto de fallo externo y un coste por registro en un componente cuyo valor es precisamente ser predecible. Clasificar o traducir en streaming tiene casos de uso legítimos —enrutar eventos por idioma, etiquetar incidencias—, pero si el modelo responde lento o devuelve un error, el retraso se propaga aguas abajo.
La recomendación razonable es tratar estas funciones como enriquecimiento opcional y no como parte del contrato de replicación: pipeline de captura de cambios por un lado, inferencia por otro, y la decisión de juntarlos tomada caso por caso y con medición de latencia delante. Conviene revisar el coste por registro y los límites de peticiones del proveedor de modelo antes de llevar esta configuración a producción.
Más en Dataprix: sección de integración de datos de Dataprix
Fuente: Apache Flink (nota de lanzamiento)
Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.