RouteScan: Un enfoque no intrusivo para auditar la seguridad de los LLMs MoE mediante la telemetría de enrutamiento de expertos

La creciente adopción de modelos de lenguaje de gran escala basados en arquitecturas Mixture-of-Experts ha abierto un dilema fundamental entre garantizar la seguridad de estos sistemas y preservar la privacidad de los usuarios. Los métodos tradicionales de auditoría, que analizan prompts, entradas o salidas, exponen información sensible y generan tensiones regulatorias. Sin embargo, investigaciones recientes exploran un camino alternativo: aprovechar la telemetría de bajo nivel del hardware, específicamente la actividad de las unidades de procesamiento gráfico, como huella digital del comportamiento del modelo. Esta idea permite construir sistemas de supervisión no intrusivos, que detectan patrones dañinos sin acceder al contenido de las interacciones. En este contexto, empresas como Q2BSTUDIO integran estos principios en sus soluciones de inteligencia artificial para empresas, combinando auditoría avanzada con el desarrollo de aplicaciones a medida que respetan los datos del cliente. La clave está en que cada experto del modelo MoE se activa de forma distinta según la entrada, generando una firma única en el número de hilos de GPU asignados durante la fase de prefilling. Este patrón, analizado mediante técnicas de aprendizaje automático, permite identificar comandos maliciosos o jailbreaks con alta precisión, incluso en dominios no vistos. La capacidad de generalización alcanza métricas como un AUROC superior a 0.93 en amenazas desconocidas, lo que demuestra su solidez. Además, la telemetría recolectada ofrece una ventaja práctica de privacidad, pues resulta prácticamente imposible reconstruir el prompt original a partir de ella. Para las organizaciones que buscan implementar modelos de lenguaje seguros y conformes a normativas, combinar este tipo de auditoría con servicios cloud AWS y Azure y con ciberseguridad ofrece una capa adicional de protección. Q2BSTUDIO también proporciona software a medida que integra estos mecanismos de monitoreo, junto con servicios inteligencia de negocio y power bi para visualizar las métricas de seguridad en tiempo real. Asimismo, la incorporación de agentes IA en flujos de auditoría automatiza la detección de anomalías, reduciendo la carga sobre los equipos de seguridad. Este enfoque no intrusivo marca un avance significativo hacia un equilibrio entre transparencia y confidencialidad, permitiendo que las empresas desplieguen modelos de lenguaje con confianza, sabiendo que su infraestructura puede auditarse sin comprometer la privacidad de los usuarios.