Google Cloud llevó el 14 de octubre a disponibilidad general dos piezas del catálogo de su entorno de ejecución Lakehouse. La primera es el endpoint de catálogo Apache Hive, que expone los metadatos del lakehouse a través de la interfaz de Hive Metastore y permite compartir metadatos y consultar de forma unificada desde Apache Spark, Apache Hive y BigQuery sobre una capa central sin servidores que gestionar. La segunda es la migración de metadatos desde Dataproc Metastore, con carga completa de una sola vez o ejecución de prueba, operable desde la consola, la CLI de gcloud o la API REST.
El catálogo de Lakehouse ya ofrecía un endpoint de catálogo REST de Apache Iceberg. Que ahora exponga además la interfaz de Hive significa que el mismo conjunto de metadatos se puede consumir por el camino moderno o por el antiguo, según lo que soporte cada motor. La migración desde Dataproc Metastore acepta como destino cualquiera de los dos, lo que permite mover el inventario de tablas sin decidir todavía por qué interfaz lo van a leer los clientes.
El movimiento encaja en una secuencia que se venía dibujando en las semanas previas. El 8 de octubre llegaron a disponibilidad general los nombres de columna flexibles para tablas Iceberg externas, gestionadas en BigQuery y gestionadas por el catálogo de Lakehouse; el 6 de octubre entró en vista previa la ingesta de captura de cambios, que sincroniza los registros de transacción de tablas Delta Lake e Iceberg hacia tablas Iceberg del lakehouse mediante Dataflow. Son piezas distintas del mismo objetivo: que el catálogo sea el punto único y que el formato de origen deje de condicionar la arquitectura.
Para un equipo con Hive Metastore en producción —que en España son muchos, porque la capa de metadatos es lo último que se moderniza— la noticia relevante es la ruta de salida. Un Metastore autogestionado es un servicio con estado, con su base de datos detrás, que hay que respaldar, actualizar y dimensionar, y que se convierte en punto único de fallo de todo lo que consulte el lago. Poder volcar ese inventario a un catálogo gestionado y seguir sirviéndolo por la interfaz de Hive permite separar dos migraciones que normalmente se hacen a la vez y salen mal: la del catálogo y la de los motores que lo consultan.
El matiz a tener presente es que esto refuerza la posición del catálogo como el nuevo lugar donde se decide la portabilidad. El formato de tabla abierto resuelve que el dato no quede cautivo, pero si los permisos, el linaje y la definición de las tablas viven en un catálogo gestionado de un proveedor, la dependencia se ha movido de capa, no ha desaparecido. Que el endpoint sea una interfaz estándar —REST de Iceberg o Hive Metastore— es justo lo que mantiene abierta la puerta de vuelta, y es el criterio por el que conviene evaluar cualquier catálogo gestionado.
Más en Dataprix: clasificación de plataformas de datos para empresas de Dataprix
Fuente: Google Cloud (notas de lanzamiento de Lakehouse)
Contenido elaborado con asistencia de inteligencia artificial — Equipo Editorial Dataprix. Verifica la información antes de tomar decisiones.