Google Cloud publicó el 2 de noviembre, en las notas de versión de BigQuery, la disponibilidad general del soporte del agente de ingeniería de datos para funciones y sentencias de inteligencia artificial, aprendizaje automático y objetos dentro de las tuberías SQLX de Dataform que genera y en sus ficheros de instrucciones. Es el paso que saca de la fase de vista previa una de las piezas centrales del agente.
El agente, integrado en las interfaces de BigQuery y de Dataform, permite construir, modificar y depurar tuberías de datos escribiendo instrucciones en lenguaje natural en lugar de código. A partir de ellas genera y organiza los ficheros SQLX dentro de un repositorio de Dataform, valida la compilación y corrige por su cuenta los errores que detecta en ese paso. También se encarga del trabajo de preparación: limpieza, transformaciones estructurales, detección de tipos y conversión de unidades para convertir datos en bruto en tablas con forma. Admite orígenes externos en Cloud Storage y Google Drive en formatos CSV, Google Sheets y JSONL, y se apoya en el Knowledge Catalog para acceder a glosarios, perfiles de datos y metadatos de enriquecimiento.
Los límites están documentados y merecen tanta atención como las capacidades. El agente no ejecuta las tuberías por su cuenta: genera el código y es la persona responsable quien lo revisa y lo lanza. Tampoco procesa cuadernos ni ficheros de preparación de datos, no accede a enlaces web y no puede realizar mutaciones sobre tablas Apache Iceberg gestionadas por catálogos del entorno de ejecución de lakehouse. Existe además la posibilidad de pedirle el plan antes de actuar, de modo que el paso de revisión humana sea explícito en operaciones complejas.
Ese diseño es lo que hace el anuncio interesante más allá del titular. La diferencia entre un asistente que sugiere SQL en un editor y lo que aquí se describe está en el artefacto que produce: no una consulta suelta en una conversación, sino código versionado en un repositorio de Dataform, que se compila, se revisa en una propuesta de cambio y se despliega con el mismo procedimiento que el escrito a mano. La generación asistida deja de ser un atajo privado de un analista y entra en el circuito de control que ya existe.
El riesgo también cambia de sitio. Si el código generado pasa por revisión y control de versiones, el peligro no es que el agente escriba una transformación incorrecta —eso se detecta—, sino el volumen: un equipo que produce tuberías cinco veces más rápido necesita revisarlas con la misma solvencia, y la capacidad de revisión no se multiplica con un anuncio de producto. La dependencia del Knowledge Catalog apunta en la misma dirección: la calidad de lo que genere el agente será proporcional al trabajo de metadatos que ya estuviera hecho.
Para un equipo de datos que trabaje sobre BigQuery, la prueba sensata es acotada: elegir una transformación conocida, pedirle el plan, comparar el SQLX generado con el que habría escrito un ingeniero y medir cuánto tiempo se va en revisar frente a cuánto se ahorra en escribir. De esa relación, y no de la demostración del fabricante, sale la respuesta de si merece la pena incorporarlo al flujo habitual.
Más en Dataprix: sección de ciencia de datos de Dataprix
Fuente: Google Cloud (notas de versión de BigQuery)
Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.