En el ámbito de las lenguas, las modelos de lenguaje (LLM) han demostrado su eficacia en diversas tareas, pero aún enfrentan desafíos, especialmente en entornos multilingües y generativos donde es difícil mantener la consistencia factual. En este contexto, la detección de alucinaciones en las LLM es un tema de interés creciente.
Para abordar este desafío, se ha desarrollado Halluverse-M^3, un conjunto de datos diseñado para analizar sistemáticamente las alucinaciones en múltiples idiomas, tareas de generación y categorías de alucinación. Este conjunto de datos abarca cuatro idiomas: inglés, árabe, hindi y turco, y admite dos tareas de generación: respuesta a preguntas y resumen de diálogos. Además, distingue entre alucinaciones a nivel de entidad, a nivel de relación y a nivel de oración.
Los resultados de la evaluación de diversas modelos de lenguaje, tanto de código abierto como propietarios, indican que la detección de alucinaciones en la respuesta a preguntas es más sencilla que en el resumen de diálogos, y que las alucinaciones a nivel de oración son las más desafiantes incluso para los modelos más robustos. Asimismo, se observa que el rendimiento es más alto en inglés y disminuye en idiomas con menos recursos, destacando la baja precisión de detección en hindi.
Halluverse-M^3 ofrece un banco de pruebas realista y desafiante para el estudio de las alucinaciones en entornos multilingües y multitarea. Este conjunto de datos resulta fundamental para la investigación futura en detección y mitigación de alucinaciones en modelos de lenguaje.
Si estás interesado en desarrollar aplicaciones personalizadas o en implementar soluciones de inteligencia artificial en tu empresa, en Q2BSTUDIO podemos ayudarte. Contamos con servicios de desarrollo de software a medida y ofrecemos soluciones en áreas como inteligencia artificial, ciberseguridad, servicios en la nube de AWS y Azure, inteligencia de negocio y mucho más. ¡Visita nuestra página de desarrollo de aplicaciones a medida para obtener más información!
.jpg)