Pub/Sub en Java desde cero con gestión de offsets

Introducción

La mayoría de los sistemas distribuidos modernos dependen de brokers de mensajes como Kafka RabbitMQ o Pulsar para desacoplar productores y consumidores garantizando fiabilidad tolerancia a fallos y escalabilidad. En este artículo reescribimos e implementamos desde cero un mini sistema Pub/Sub en Java para entender los conceptos clave como topics mensajes suscriptores offsets hilos de trabajo y la posibilidad de reiniciar offsets similar a seek en Kafka.

Diseño de bajo nivel

Componentes principales explicados de forma concisa

Message simple contenedor con el texto del mensaje

Topic estructura que mantiene la lista de mensajes y la lista de suscriptores

TopicSubscriber enlace entre un suscriptor y un topic con su propio offset gestionado de forma atómica

ISubscriber interfaz que define como consumir mensajes y un ejemplo SleepingSubscriber que simula latencia real al procesar

Queue gestor que crea topics suscribe consumidores publica mensajes y permite resetear offsets

TopicHandler administra los hilos de trabajo por topic asegurando que cada suscriptor tenga su worker

SubscriberWorker hilo de fondo que entrega mensajes secuencialmente respeta offsets y espera notificaciones para nuevos mensajes

Recorrido de código resumido

El modelo Message es un simple wrapper con el contenido del mensaje. Topic expone métodos para añadir mensajes y añadir suscriptores. TopicSubscriber contiene un AtomicInteger offset y la referencia al ISubscriber correspondiente. ISubscriber declara getId y consume y SleepingSubscriber imprime y duerme para simular procesamiento. Queue mantiene un mapa de TopicHandler por topic crea topics suscribe suscriptores publica mensajes y permite resetear offsets lanzando el worker apropiado. TopicHandler asegura un worker por suscriptor creando SubscriberWorker cuando hace falta y despertándolo si ya existe. SubscriberWorker espera mientras el offset del suscriptor apunta a una posición sin mensaje y cuando hay mensaje lo consume actualizando el offset con compareAndSet para seguridad concurrente.

Ejemplo de uso y comportamiento

Se crea un Queue y un Topic orders Se suscriben dos subscribers con diferentes tiempos de procesado Se envían mensajes como order-1 order-2 y tras una pausa se resetea el offset de un suscriptor a cero para reconsumir los mensajes. El flujo demuestra replay de mensajes y consumo asincrono por trabajador por suscriptor.

Salida esperada

Las líneas muestran como cada suscriptor inicia y termina el consumo de cada mensaje y como tras resetear el offset un suscriptor vuelve a procesar mensajes antiguos permitiendo replay.

Conclusiones clave

Cada suscriptor mantiene su propio offset Los suscriptores consumen de forma asincrona mediante hilos trabajadores El offset puede resetearse para volver a reproducir mensajes Este diseño reproduce los mecanismos basicos de Kafka de forma simplificada ideal para aprender los fundamentos antes de adoptar soluciones de producción.

Extensiones recomendadas

Agregar consumer groups para compartir offsets entre multiples consumidores Implementar acknowledgements para garantizar at-least-once o at-most-once Añadir persistencia para escribir mensajes a disco Soportar enrutamiento multi topic y mejorar la gestion de concurrencia y escalado.

Sobre Q2BSTUDIO

En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones tecnológicas modernas. Ofrecemos software a medida e integraciones avanzadas en inteligencia artificial y ciberseguridad. Nuestros servicios incluyen implementaciones en la nube con servicios cloud aws y azure soluciones de servicios inteligencia de negocio y consultoría en ia para empresas. Diseñamos agentes IA potentes y cuadros de mando con power bi para transformar datos en decisiones accionables.

Por que elegirnos

Q2BSTUDIO combina experiencia en desarrollo de aplicaciones a medida con capacidades en inteligencia artificial y ciberseguridad para entregar productos robustos y escalables. Si necesitas software a medida integración con servicios cloud aws y azure soluciones de inteligencia artificial o power bi para reporting nuestros equipos pueden ayudarte a construir desde un prototipo hasta una plataforma de producción segura y eficiente.

Palabras clave y posicionamiento

aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi

Contacto

Si quieres que Q2BSTUDIO desarrolle una solución Pub/Sub personalizada o que te asesore en arquitecturas distribuidas y en la adopción de inteligencia artificial contactanos para una consultoria especializada y pruebas de concepto adaptadas a tus objetivos.