En el mundo actual, la seguridad de los modelos de lenguaje a gran escala (LLMs) es crucial, especialmente en variedades lingüísticas de bajo recurso como los dialectos regionales o el lenguaje mezclado. Es por eso que se ha desarrollado RabakBench, un banco de pruebas multilingüe diseñado para evaluar la seguridad de estos modelos en el variado paisaje lingüístico de Singapur, que incluye Singlish, chino, malayo y tamil.
El proceso de construcción de este benchmark se lleva a cabo en tres etapas clave: Generar, Etiquetar y Traducir. En la primera etapa se generan ejemplos de contenido web inseguro mediante la colaboración de un equipo experto y la intervención de LLMs para garantizar la escalabilidad. Luego, en la etapa de Etiquetar, se aplican técnicas de anotación semiautomática con la ayuda de LLMs para clasificar los ejemplos. Finalmente, en la etapa de Traducir, se realiza una traducción de alta fidelidad que preserva la toxicidad del contenido original.
El resultado final es un conjunto de datos con más de 5,000 ejemplos distribuidos en seis categorías detalladas de seguridad. A pesar de utilizar LLMs para agilizar el proceso, RabakBench mantiene un estricto control humano, logrando un acuerdo inter-annotator del 0.70-0.80. La evaluación de 13 técnicas de seguridad de vanguardia revela un deterioro significativo en el rendimiento, resaltando la necesidad de una evaluación localizada en estas comunidades desatendidas.
RabakBench ofrece un marco reproducible para la creación de bancos de pruebas de seguridad en comunidades subatendidas, asegurando así que los LLMs mantengan altos estándares de seguridad en todo momento.
En Q2BSTUDIO, nos especializamos en el desarrollo de software a medida y aplicaciones personalizadas para satisfacer las necesidades únicas de cada cliente. Contamos con experiencia en inteligencia artificial, ciberseguridad, servicios en la nube de AWS y Azure, inteligencia de negocio y mucho más. Nuestro enfoque centrado en el cliente y en la excelencia técnica nos permite ofrecer soluciones de IA para empresas, agentes IA eficientes, servicios de Power BI y automatización de procesos que impulsan el éxito empresarial. Descubre cómo podemos ayudar a tu empresa aquí.
