Advenimiento de la IA 2025 - Día 5: Construí un rastreador de vuelos sin contacto que puedes controlar con gestos de mano
En el quinto reto del Advent of AI desarrollé The Homecoming Board, un tablero de llegadas que se controla con gestos de mano para evitar tocar pantallas en climas fríos. El objetivo era sencillo pero estimulante: al menos dos gestos distintos para navegar, datos de vuelos en tiempo real y retroalimentación de audio. El resultado fue una demostración funcional con cuatro gestos reconocidos de forma independiente para cada mano, integración en tiempo real con datos de vuelo y una experiencia accesible y robusta para pruebas reales.
Tecnologías clave empleadas: TanStack Start con React y TypeScript en modo SSR para la aplicación, MediaPipe en su runtime WASM para el seguimiento de manos, la API de OpenSky Network para obtener posiciones de vuelos en tiempo real y TanStack Query para el almacenamiento en caché y la gestión de refrescos automáticos. El uso del runtime WASM de MediaPipe permitió un despliegue totalmente client side en plataformas como Netlify sin depender de runtimes de servidor.
Características principales implementadas: seguimiento de manos en tiempo real a 30 60 FPS con visualización de landmarks, detección de cuatro gestos cerrada palma pulgar arriba y pulgar abajo, detección independiente para mano izquierda y derecha, sistema de entrenamiento adaptativo para ajustar umbrales personalizados por usuario y manejo de la variabilidad en la gesticulación, caché inteligente de datos de vuelo para respetar límites de tasa de OpenSky, retroalimentación de audio opcional y temas claros y oscuros con contraste WCAG AAA para accesibilidad.
El problema más desafiante fue la clasificación de gestos. El enfoque inicial con umbrales fijos basados en razones de curvatura de dedos funcionaba en mi entorno de desarrollo pero fallaba ante variaciones de iluminación distancia y estilos de gesto. La solución fue un modo de entrenamiento donde el usuario realiza cada gesto varias veces y el sistema calcula medias desviaciones y márgenes con tolerancia a la varianza. Esa calibración hizo la detección usable en escenarios del mundo real y fue la diferencia entre una demo frágil y una experiencia estable.
Para los datos de vuelo utilicé la API pública de OpenSky Network y la filtré por un bounding box alrededor del aeropuerto objetivo. TanStack Query gestionó el cacheo y el refetch con parámetros diferentes para desarrollo y producción evitando ser bloqueado por los límites de la API. En desarrollo aumenté el tiempo de caché para reducir reintentos y en producción mantuve un refresco frecuente sin sobrecargar el servicio.
La retroalimentación de audio mejora enormemente la confianza del usuario respecto a si un gesto fue reconocido. Asocié sonidos distintos a cada gesto y solo se reproducen cuando el gesto cambia evitando ruidos continuos y molestias durante la interacción. Además se añadió la opción de silenciar para pruebas y entornos ruidosos.
En la parte de interfaz utilicé componentes accesibles para modales y paneles y optimicé la experiencia móvil con un drawer que aparece desde abajo. También añadí selección de cámara para entornos con múltiples dispositivos y detección de foco de ventana para pausar la cámara y ahorrar batería cuando la pestaña no está activa.
Arquitectura y buenas prácticas: el proyecto se organizó en hooks personalizados que encapsulan responsabilidades claras. Entre ellos useMediaPipe para inicializar y limpiar MediaPipe useWebcam para gestión de cámaras useGestures para la lógica de detección con debounce y umbrales adaptativos useFlightData que envuelve TanStack Query useLocalStorage para persistencia simple useWindowFocus para pausar procesado cuando no hay foco useGestureTraining para recolectar datos de calibración y useAudio para gestión de efectos sonoros. Esta estructura mantiene los componentes UI limpios y facilita pruebas y mantenimiento.
Lecciones aprendidas: siempre prever variabilidad en entradas del mundo real aplicar cache con cuidado cuando se consumen APIs rate limited y considerar audio como una señal de confirmación muy útil para interacciones sin contacto. Pausar la captura cuando la ventana pierde foco ahorra recursos y evita detecciones indeseadas.
Este proyecto es un claro ejemplo de lo que Q2BSTUDIO ofrece a sus clientes: desarrollos ágiles de aplicaciones a medida y software a medida que integran inteligencia artificial y buenas prácticas de seguridad. Si su empresa busca llevar soluciones similares a producción podemos ayudar en el diseño e implementación de sistemas que combinan visión por computador IA para empresas y despliegues cloud seguros. Con un equipo especializado en ciberseguridad y pentesting garantizamos que la solución no solo funcione sino que cumpla requisitos de protección y cumplimiento.
Si necesita un proyecto a medida que incluya agentes IA integración con servicios cloud aws y azure o soluciones de inteligencia de negocio con Power BI, en Q2BSTUDIO contamos con experiencia para entregarlo desde concept a producción. Conecte su idea con expertos en Aplicaciones a medida y aproveche capacidades avanzadas de inteligencia artificial para transformar sus procesos.
El prototipo está desplegado como demostración y sirve como base para futuras mejoras: soporte multi aeropuerto visualización de trayectorias gestos con ambas manos y controles multiusuario entre otras ideas. Para proyectos industriales que requieran integración con análisis en tiempo real automatización de procesos o servicios inteligencia de negocio y power bi, Q2BSTUDIO diseña arquitecturas escalables y seguras adaptadas a cada caso.
Palabras clave para mejorar posicionamiento: aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi. Si desea una consultoría o desarrollo a medida contacte con nuestro equipo y conversemos cómo convertir esta clase de prototipos en soluciones productivas y seguras para su organización.