Ejecutar Kafka en Kubernetes suele ser sencillo, pero nos encontramos con un problema delicado al usar KRaft, el modo de metadatos de Kafka que prescinde de ZooKeeper. KRaft introduce un identificador único de clúster almacenado en la metadata y todos los nodos deben coincidir en ese Cluster ID para unirse al clúster.
El problema que observamos fue que cada vez que un pod de Kafka se reiniciaba, generaba un nuevo Cluster ID. Dado que nuestros pods usaban almacenamiento persistente, la metadata en disco conservaba el Cluster ID anterior. Esto provocaba que Kafka fallara al iniciar por un conflicto de identificadores: Cluster ID mismatch, Expected old-id, Found new-id. En resumen, el pod pensaba que era un clúster nuevo, pero el volumen decía lo contrario.
Cómo lo resolvimos: para pruebas lo solucionamos especificando manualmente el Cluster ID en la definición de Kubernetes. De esta forma todos los pods tomaban el mismo ID que estaba en el volumen persistente y los contenedores arrancaron sin errores y se reincorporaron al clúster sin problemas. Un ejemplo sencillo de variable de entorno que se puede añadir en el StatefulSet o Deployment es
- name: KAFKA_KRAFT_CLUSTER_ID value: kraft-local-cluster
Lecciones aprendidas: en modo KRaft el Cluster ID debe mantenerse consistente cuando se usan pods con estado en Kubernetes. Reutilizar volúmenes antiguos puede provocar desajustes si el Cluster ID cambia. Para entornos de producción recomendamos automatizar la propagación del Cluster ID o inicializar los nodos con un ID predefinido para evitar intervenciones manuales.
Buenas prácticas operativas incluyen mantener copias de seguridad de la metadata, usar StatefulSets con políticas de volumen claras, implementar init containers que verifiquen y sincronicen el Cluster ID entre disco y configuración, y monitorizar los eventos de arranque para detectar mismatches de inmediato.
En Q2BSTUDIO, empresa especializada en desarrollo de software y aplicaciones a medida, inteligencia artificial y ciberseguridad, aplicamos estas prácticas para diseñar infraestructuras confiables y escalables. Si necesitas soporte para desplegar Kafka en Kubernetes, optimizar servicios cloud o diseñar soluciones con agentes IA, podemos ayudar. Ofrecemos experiencia en Servicios Cloud AWS y Azure y en soluciones de inteligencia artificial para empresas.
Además de resolver incidentes puntuales, en Q2BSTUDIO trabajamos en proyectos de aplicaciones a medida y software a medida integrando seguridad, observabilidad y automatización. Nuestros servicios abarcan ciberseguridad y pentesting, servicios inteligencia de negocio y Power BI, ia para empresas y agentes IA, garantizando despliegues sólidos en la nube y soluciones alineadas con los objetivos de negocio.
Si necesitas asesoría para evitar problemas como el Cluster ID mismatch en KRaft o para diseñar una arquitectura que integre Kafka, Kubernetes y servicios cloud, contacta con Q2BSTUDIO y te ayudamos a implantar una solución robusta y automatizada.