En el ámbito de los sistemas de respuesta a preguntas de servicio al cliente, la comprensión del lenguaje conversacional juega un papel fundamental. Los modelos de lenguaje de gran tamaño han demostrado un rendimiento sólido en este tipo de aplicaciones, pero su alto costo computacional y limitaciones en cuanto a implementación pueden restringir su uso en entornos con recursos limitados.
Por otro lado, los modelos de lenguaje pequeños representan una alternativa más eficiente, pero aún se desconoce su efectividad en el contexto de preguntas y respuestas de servicio al cliente de múltiples turnos que requieran una comprensión contextual y continuidad en el diálogo.
En este sentido, un estudio reciente ha investigado el uso de modelos de lenguaje pequeños ajustados a instrucciones para preguntas y respuestas de servicio al cliente resumidas en contexto. Esta estrategia de resumir la historia de la conversación busca preservar el estado conversacional esencial, mejorando la comprensión y la coherencia en los diálogos.
La evaluación de nueve modelos de lenguaje pequeños ajustados a instrucciones se llevó a cabo comparándolos con tres modelos de lenguaje de gran tamaño comerciales. Se utilizaron métricas de similitud léxica y semántica, junto con evaluaciones cualitativas que incluyeron la participación de evaluadores humanos y métodos de evaluación con el modelo de lenguaje de gran tamaño como juez.
Los resultados mostraron variaciones significativas entre los modelos de lenguaje pequeños, algunos de los cuales alcanzaron un rendimiento cercano a los modelos de lenguaje de gran tamaño, mientras que otros tuvieron dificultades para mantener la continuidad del diálogo y la alineación contextual. Estos hallazgos resaltan tanto el potencial como las limitaciones actuales de los modelos de lenguaje pequeños en sistemas reales de preguntas y respuestas de servicio al cliente.
En Q2BSTUDIO somos expertos en el desarrollo de aplicaciones a medida y en la implementación de tecnologías como la Inteligencia Artificial para empresas. Si estás buscando soluciones de IA para empresas o servicios de cloud como AWS o Azure, no dudes en contactarnos.
