En el mundo de los vehículos autónomos, la comunicación con otros usuarios de la vía se vuelve un desafío. Es por ello que las Interfaces Hombre-Máquina Externas (eHMIs) son esenciales para transmitir intenciones y mantener la confianza en entornos compartidos.
Sin embargo, la mayoría de los estudios de eHMI se basan en mensajes predefinidos por los desarrolladores, lo que dificulta su adaptación a contextos de tráfico diversos y dinámicos. Una alternativa prometedora es utilizar Modelos de Lenguaje Extensos (LLMs) como diseñadores de acciones que generan acciones de eHMI condicionadas al contexto. Sin embargo, estos diseñadores carecen de verificación perceptual y suelen depender de indicaciones fijas o costosos feedbacks humanos para su mejora continua.
Es en este punto donde entra en juego See2Refine, un marco de trabajo cerrado y sin intervención humana que utiliza la evaluación perceptual de modelos visión-lenguaje (VLM) como retroalimentación automática visual para mejorar un diseñador de acciones de eHMI basado en LLM. Mediante la evaluación del VLM, que analiza la pertinencia percibida de la acción en un contexto de conducción, se logra refinar sistemáticamente las salidas del diseñador sin supervisión humana.
Este enfoque se ha evaluado en tres modalidades de eHMI (barra de luces, ojos y brazo) y en múltiples tamaños de modelos LLM. Los resultados han demostrado que See2Refine supera consistentemente a los diseñadores LLM que solo utilizan indicaciones fijas y baselines especificados manualmente, tanto en métricas basadas en VLM como en evaluaciones de sujetos humanos.
Estos hallazgos indican que las mejoras se generalizan entre modalidades y que las evaluaciones del VLM están alineadas con las preferencias humanas, respaldando la robustez y efectividad de See2Refine para el diseño de acciones a escala.
En Q2BSTUDIO entendemos la importancia de la inteligencia artificial y su aplicación en diferentes contextos. Si estás buscando soluciones de software a medida, servicios de ciberseguridad, o incluso implementar IA para potenciar tu empresa, ¡contáctanos! Nuestro equipo de expertos estará encantado de ayudarte.
Fuente: Q2BSTUDIO - Inteligencia Artificial para empresas