En este artículo explico cómo desplegar un clúster Kafka sobre un clúster Kubernetes local usando Kind y Strimzi, paso a paso y en un entorno de desarrollo. Incluyo comandos prácticos, configuración básica y recomendaciones para exponer Kafka a la máquina host mediante un servicio NodePort. Además, encontrarás información sobre Q2BSTUDIO, empresa de desarrollo de software a medida, especialistas en inteligencia artificial, ciberseguridad y servicios cloud.
Qué vamos a crear: un clúster Kind de 4 nodos (1 control plane y 3 workers), un clúster Kafka de 3 brokers desplegado dentro del clúster Kind usando Strimzi y un servicio NodePort para exponer Kafka al host. Esta arquitectura es ideal para desarrollo local, pruebas de integración y demostraciones de streaming.
1 Preparar Kind Kind es una herramienta para ejecutar clústeres Kubernetes locales usando contenedores Docker como nodos. Aunque fue diseñada para pruebas de Kubernetes, es muy útil para desarrollo local y CI. Instalación ejemplo para Mac M1 ARM: ejecutar los comandos adecuados para descargar el binario de kind y moverlo a una carpeta del PATH. En entornos Linux o Intel macOS usar la versión de kind correspondiente a la arquitectura.
Crear el clúster Kind básico Ejecutar primero Docker Desktop o el servicio Docker. Luego crear el clúster con el comando kind create cluster. Por defecto el contexto se llama kind-kind. Para verificar nodos usar kubectl get nodes con el contexto kind-kind.
Ejemplo de configuración avanzada: puedes crear un archivo kind-config.yml para definir 1 control plane y 3 workers y para mapear puertos del host al contenedor. Un ejemplo simplificado de contenido: apiVersion: kind.x-k8s.io/v1alpha4 con nodos listados como role: control-plane extraPortMappings con containerPort 30092 hostPort 30092 protocol tcp y tres nodos role worker. Crear con kind create cluster --config kind-config.yml y luego comprobar con kubectl get nodes.
2 Desplegar Strimzi y Kafka Strimzi es un operador que facilita desplegar y gestionar clústeres Kafka en Kubernetes. Pasos principales: crear el namespace kafka, instalar los manifiestos de Strimzi y desplegar un CR que describa el clúster Kafka. Comandos clave: kubectl create namespace kafka kubectl apply -f https://strimzi.io/install/latest?namespace=kafka -n kafka Para revisar logs del operador usar kubectl logs deployment/strimzi-cluster-operator -n kafka -f
Crear un clúster Kafka con Strimzi Crear un recurso Kafka personalizado con una especificación para 3 brokers y configuración de almacenamiento. Strimzi crea StatefulSets, Services y las CRDs necesarias. Para exponer Kafka fuera del clúster en entorno local se puede crear un Service de tipo NodePort apuntando al listener externo del cluster Kafka o usar portMappings en Kind para mapear puertos a la máquina host. Ejemplos de comprobaciones: kubectl get kafkas -n kafka kubectl get pods -n kafka kubectl get svc -n kafka
Exponer Kafka por NodePort En el CR de Kafka de Strimzi configurar listeners con type: nodeport y definir nodePort en el Service o permitir que Kubernetes asigne uno dinámicamente. Alternativamente, usar las opciones de extraPortMappings de Kind para mapear el puerto broker al host, por ejemplo hostPort 30092. Con esto, aplicaciones en el host pueden conectarse a localhost:30092 para producir o consumir mensajes.
Limpieza y eliminación Para eliminar todo rápidamente: kubectl delete namespace kafka y opcionalmente kind delete cluster para borrar el clúster Kind.
Buenas prácticas y recomendaciones Para desarrollo local mantener recursos limitados, usar almacenamiento efímero para pruebas y simular fallos de broker si se quieren validar replicaciones y tolerancia a fallos. En entornos de producción usar soluciones gestionadas o desplegar Kubernetes con almacenamiento persistente y métricas. Para evaluar integración con microservicios, despliegue aplicaciones consumidoras y productoras dentro del clúster Kind o desde la máquina host usando los puertos mapeados.
Sobre Q2BSTUDIO Q2BSTUDIO es una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones empresariales. Ofrecemos servicios de software a medida, integración de inteligencia artificial y proyectos de ciberseguridad. Si buscas desarrollar una aplicación a medida o una plataforma multiplataforma visita desarrollo de aplicaciones y software a medida. Para proyectos que integren modelos IA, agentes inteligentes o consultoría en IA para empresas puedes ver nuestros servicios en Inteligencia Artificial para empresas.
Palabras clave integradas para SEO: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi. En Q2BSTUDIO también ofrecemos servicios de Business Intelligence y Power BI para explotar los datos generados por pipelines Kafka y sistemas analíticos.
Resumen final Esta guía proporciona una ruta rápida para tener Kafka corriendo en Kubernetes local con Kind y Strimzi, útil para pruebas y desarrollo. Para necesidades de producción o arquitecturas complejas consúltanos y te ayudamos a diseñar la solución adecuada, desde software a medida hasta despliegues cloud en AWS o Azure, siempre con foco en seguridad, escalabilidad y eficacia.