La comunidad de Apache Kafka tiene previsto publicar la versión 4.4.0 no antes del 9 de septiembre, tras cerrar el ciclo habitual de congelación de funcionalidades y de código en las semanas previas. La release reúne más de 25 mejoras que afectan tanto a los clientes que producen y consumen mensajes como a Kafka Streams y a la seguridad de los clústeres basados en KRaft, el modo de coordinación que sustituyó a ZooKeeper.
En el lado de los clientes, la versión avanza en la alineación de las APIs de transacciones entre productor y consumidor, e introduce en fase preliminar la asignación dinámica de memoria en el productor, que permite ajustar el uso de memoria según la carga real en lugar de reservar un bloque fijo por adelantado. También mejora la detección de conexiones mal dirigidas, un problema habitual en clústeres grandes donde un cliente puede quedar conectado a un broker que ya no es el correcto tras un cambio de topología. En Kafka Streams, el protocolo de rebalanceo incorpora membresía de grupo estática y tareas de precalentamiento, dos piezas que reducen las interrupciones de procesamiento cuando una instancia se reinicia o se añade una nueva al grupo.
En seguridad y configuración, 4.4.0 añade patrones CIDR para las listas de control de acceso (ACL), lo que permite definir permisos por rango de red en lugar de dar de alta cada dirección IP de forma individual, y avanza en la desaprobación de las métricas basadas en Yammer en favor de las métricas nativas de Kafka. También unifica las herramientas de arranque de clúster para los despliegues en modo KRaft, simplificando un proceso que hasta ahora exigía comandos distintos según la configuración.
Ninguna de estas mejoras es disruptiva por sí sola, pero juntas reflejan hacia dónde va el proyecto: menos dependencia de componentes heredados como Yammer o ZooKeeper, una gestión de memoria más eficiente en los clientes, y un control de acceso más expresivo para clústeres que en producción suelen tener cientos de aplicaciones conectadas. Para los equipos que ya operan Kafka en modo KRaft, la unificación de herramientas de arranque y las ACL por CIDR son, probablemente, las dos mejoras con impacto más directo en el día a día de operación.
La responsable de coordinar la versión, Omnia Ibrahim, mantiene el proyecto dentro del calendario de publicación temporal que Kafka sigue desde hace varias versiones, con ciclos de congelación de KIPs, de funcionalidades y de código bien delimitados que facilitan a los equipos de plataforma planificar con antelación cuándo probar y adoptar cada nueva versión en sus clústeres de producción.
Más en Dataprix: la sección de integración de datos de Dataprix
Fuente: Apache Kafka — plan de la versión 4.4.0
Contenido elaborado con asistencia de inteligencia artificial y revisado editorialmente por el equipo de Dataprix.