Snowflake ha llevado a disponibilidad general su función de linaje externo, que extiende el seguimiento nativo de linaje de datos de la plataforma a objetos que viven fuera de Snowflake. Hasta ahora, el grafo de linaje de Snowflake solo mostraba de forma completa lo que ocurría dentro de sus propias tablas y vistas; con esta función, herramientas externas como dbt o Apache Airflow pueden enviar eventos de linaje directamente a Snowflake y que estos aparezcan integrados en el mismo grafo.
La implementación se apoya en el estándar abierto OpenLineage: las herramientas que ya emiten eventos OpenLineage pueden enviarlos a un endpoint REST de Snowflake, y esos objetos externos aparecen etiquetados como «nodos externos» dentro del grafo de linaje visible en Snowsight. La función va más allá del linaje a nivel de tabla: mediante el atributo columnLineage es posible capturar también qué columnas de origen alimentan a qué columnas de destino, algo especialmente útil para auditar transformaciones complejas o justificar de dónde sale un dato concreto de un informe. El linaje, tanto interno como externo, también puede consultarse por SQL a través de la función GET_LINEAGE, sin pasar por la interfaz gráfica. La función requiere edición Enterprise o superior, y el envío o borrado de linaje está sujeto a privilegios específicos (INGEST LINEAGE y DELETE LINEAGE) para evitar que cualquier usuario pueda alterar el histórico de trazabilidad.
El caso de uso típico es el de un pipeline que empieza en una herramienta externa —una transformación en dbt, una tarea de Airflow que mueve datos desde un sistema de origen— y termina en una tabla de Snowflake. Sin linaje externo, ese tramo previo del recorrido del dato queda invisible desde Snowflake: se ve la tabla final, pero no de dónde viene ni qué transformaciones sufrió antes de llegar. Con esta función, ese tramo se puede reconstruir y auditar desde la propia plataforma.
Para cualquier organización sujeta a auditorías de calidad de datos, cumplimiento normativo o simplemente a la necesidad de responder rápido a la pregunta «¿de dónde sale este número?», tener el linaje completo —no solo el que ocurre dentro de Snowflake— marca la diferencia entre una trazabilidad real y una trazabilidad parcial que se detiene justo donde más se necesita. La adopción del estándar OpenLineage también es relevante: en lugar de un formato propietario, Snowflake se apoya en una especificación que ya usan otras plataformas, lo que facilita construir un mapa de linaje consistente en arquitecturas de datos híbridas o multi-nube.
Más en Dataprix: nuestro ranking de plataformas de gobernanza de datos
Fuente: Snowflake — notas de la versión
Contenido elaborado con asistencia de inteligencia artificial y revisado editorialmente por el equipo de Dataprix.