Confluent ha publicado en su release Q2 2026 un nuevo adaptador dbt para Confluent Cloud para Apache Flink, junto con un driver Python llamado confluent-sql. La combinación permite definir pipelines de streaming como modelos dbt, testearlos, generar documentación y desplegarlos en compute pools de Flink usando exactamente el mismo flujo que ya conocen los equipos de analítica con dbt.
La integración resuelve un problema que llevaba tiempo identificándose en el sector: la separación operativa entre los pipelines batch (típicamente sobre dbt + Snowflake o BigQuery) y los pipelines streaming (sobre Flink, Spark Streaming o Kafka Streams). Hasta ahora, cada uno usaba un lenguaje, un orquestador y unas pruebas distintas, incluso cuando la lógica de transformación era idéntica. Con el adaptador dbt, una transformación se escribe una sola vez y se ejecuta como modelo dbt independientemente de si la fuente es batch o streaming.
El segundo componente, confluent-sql, es un driver Python que abre Flink al ecosistema más amplio: herramientas de orquestación como Airflow, frameworks de IA, análisis con Pandas y notebooks de exploración. Esto reduce la barrera de entrada a Flink para equipos que históricamente operaban solo en batch.
El impacto técnico es claro: la dualidad batch + streaming deja de requerir dos stacks tecnológicos distintos. Equipos que ya tienen una librería madura de modelos dbt pueden incorporar lógica de streaming sin reescribir nada. Los tests dbt (data quality, integridad referencial, freshness) aplican al pipeline streaming sin adaptaciones.
Confluent también ha integrado el adaptador con su Confluent Intelligence, la capa de IA generativa de la plataforma, que permite generar consultas Flink SQL a partir de descripciones en lenguaje natural. Para equipos pequeños sin especialistas en streaming, esta combinación puede acelerar significativamente la adopción.
El adaptador está disponible como plugin open source en GitHub, sin coste adicional para usuarios de Confluent Cloud para Apache Flink. dbt Labs lo lista ya en su directorio oficial de adapters.
Más en Dataprix: Integración de datos: ETL, ELT y pipelines en tiempo real