SafeDialBench: Un banco de pruebas de evaluación de seguridad de grano fino para modelos de lenguaje grandes en diálogos de múltiples turnos con diversos ataques de jailbreak

En la era de los Grandes Modelos de Lenguaje (LLMs), la preocupación por la seguridad de estos modelos se ha vuelto crítica. Es por ello que la evaluación precisa de la seguridad de los LLMs se ha convertido en un tema de suma importancia. Los benchmarks actuales se centran principalmente en diálogos de un solo turno o en un solo método de ataque de jailbreak para evaluar la seguridad. Sin embargo, estos benchmarks no han tomado en cuenta la capacidad de los LLMs para identificar y manejar información insegura de manera detallada. Para abordar estas cuestiones, se ha propuesto un benchmark de grano fino denominado SafeDialBench, el cual tiene como objetivo evaluar la seguridad de los LLMs frente a diversos ataques de jailbreak en diálogos de múltiples turnos. Este benchmark consta de una taxonomía jerárquica de seguridad de dos niveles que considera 6 dimensiones de seguridad y genera más de 4000 diálogos de múltiples turnos en chino e inglés en 22 escenarios de diálogo. Se emplean 7 estrategias de ataque de jailbreak, como el ataque de referencia y el ataque de reversión de propósito, para mejorar la calidad del conjunto de datos para la generación de diálogos. Destaca la construcción de un marco de evaluación innovador de los LLMs, que mide la capacidad de detectar y manejar información insegura y mantener la coherencia ante ataques de jailbreak. Los resultados experimentales revelan que Yi-34B-Chat y GLM4-9B-Chat muestran un rendimiento superior en seguridad, mientras que Llama3.1-8B-Instruct y o3-mini presentan vulnerabilidades en seguridad. En Q2BSTUDIO, empresa especializada en el desarrollo de software a medida, servicios cloud aws y azure, ciberseguridad, inteligencia de negocio, e inteligencia artificial para empresas, entendemos la importancia de evaluar la seguridad de los modelos de lenguaje grandes en distintos escenarios. Si estás interesado en mejorar la ciberseguridad de tu empresa o en implementar soluciones personalizadas de inteligencia artificial, ¡contáctanos! A través de nuestros servicios, podemos ayudarte a potenciar la seguridad de tus sistemas y optimizar tus procesos empresariales. Para obtener más información sobre nuestras soluciones de desarrollo de aplicaciones a medida, te invitamos a visitar nuestra página sobre aplicaciones a medida. Si deseas conocer más acerca de nuestros servicios de ciberseguridad y pentesting, no dudes en acceder a nuestra sección de ciberseguridad. En Q2BSTUDIO, estamos comprometidos con brindar soluciones tecnológicas avanzadas para impulsar el crecimiento y la seguridad de tu empresa. ¡Contáctanos hoy mismo!