La verificación de hechos es fundamental para garantizar la confiabilidad de las aplicaciones de lenguaje mediante modelos (LLM). En un estudio reciente, se evaluaron 12 LLM pre-entrenados y un verificador de hechos especializado, incluyendo LLMs de vanguardia y LLMs de razonamiento de peso abierto, utilizando ejemplos de 14 bancos de pruebas de verificación de hechos. Se comparten tres hallazgos destinados a orientar el futuro desarrollo de verificadores de hechos más robustos.
En primer lugar, se destaca la importancia de abordar los errores de anotación y la ambigüedad en los conjuntos de datos, demostrando que aproximadamente el 16% de los datos ambiguos o incorrectamente etiquetados influyen sustancialmente en las clasificaciones de los modelos. Descuidar este problema puede conducir a conclusiones engañosas durante las evaluaciones comparativas, por lo que se sugiere utilizar un pipeline sistemático que utilice un LLM como juez para ayudar a identificar estos problemas a gran escala.
En segundo lugar, se descubre que los LLMs de vanguardia con ejemplos de poca muestra en contexto, a menudo pasados por alto en trabajos anteriores, logran un rendimiento de primer nivel. Por lo tanto, se recomienda que los estudios futuros incluyan comparaciones con estas líneas base simples pero altamente efectivas.
Por último, a pesar de su efectividad, los LLMs de vanguardia conllevan costos sustanciales, lo que motiva el desarrollo de verificadores de hechos pequeños y afinados. Se muestra que estos modelos más pequeños aún tienen margen de mejora, especialmente en instancias que requieren razonamiento complejo. De manera alentadora, se demuestra que aumentar el entrenamiento con datos de razonamiento sintético multi-salto mejora significativamente sus capacidades en tales instancias.
Si estás interesado en desarrollar aplicaciones a medida que incorporen inteligencia artificial para la verificación de hechos, te invitamos a conocer los servicios de desarrollo de aplicaciones software a medida de Q2BSTUDIO, especializados en IA, ciberseguridad, servicios cloud en AWS y Azure, inteligencia de negocio con Power BI, entre otros. Nuestro equipo de expertos puede ayudarte a implementar agentes de IA y soluciones personalizadas para tu empresa.
