Pipeline de orquestación con Apache Airflow

Astronomer, la empresa detrás del desarrollo comercial de Apache Airflow, ha publicado la edición 2026 de su informe anual State of Airflow. El estudio, basado en más de 5.000 respuestas de equipos de datos en todo el mundo, confirma que el orquestador open source está pasando de ser una herramienta de pipelines a la capa unificadora donde convergen datos, IA y aplicaciones empresariales.

Tres cifras del informe merecen atención. La primera: el 32% de los usuarios de Airflow ejecuta ya casos de uso de IA generativa o MLOps en producción sobre la herramienta, frente al 18% del año anterior. Airflow se posiciona como el orquestador estándar también para flujos de entrenamiento, evaluación de modelos y despliegue de prompts en producción. La segunda: el 44% de los usuarios combina Airflow con dbt, lo que confirma la dupla como stack mainstream del data engineering moderno. La tercera: el paquete open source Cosmos de Astronomer, que facilita la integración dbt-Airflow, superó los 200 millones de descargas en 2025.

El informe también identifica un cambio en los perfiles que adoptan Airflow. Cuatro de cada diez equipos que están ampliando su uso son equipos de plataforma e infraestructura IT, no equipos de datos puros. La orquestación se está infiltrando en la conversación sobre automatización empresarial, compitiendo y a veces sustituyendo a herramientas tradicionales de workflow management.

Otro dato relevante es la madurez del despliegue: el 67% de los respondientes opera Airflow en producción con más de un año de uso, con clústeres que en algunos casos gestionan más de 100.000 ejecuciones diarias de DAGs. El crecimiento de Astronomer (provider gestionado más popular) ha acompañado esta consolidación, con el Airflow Summit 2026 anunciado como evento principal del sector.

Para arquitectos y CIOs, el informe es útil como referencia comparativa: si tu equipo aún no orquesta workflows de IA con la misma herramienta que orquesta el data warehouse, estás fuera del estándar emergente. La integración de Airflow con orquestadores específicos de ML (Kubeflow, MLflow) y con plataformas como Snowflake o Databricks sigue siendo el punto de fricción más comentado, y donde los proveedores comerciales seguirán invirtiendo.

Más en Dataprix: Orquestación de pipelines de datos en entornos modernos

Fuente: Astronomer — State of Airflow 2026