En el ecosistema actual de inteligencia artificial, los equipos de ingeniería han adoptado herramientas como SHAP y LIME como si fueran verdades absolutas. Sin embargo, la realidad técnica demuestra que estas explicaciones no son sino muestras de una distribución que varía según los datos de referencia, la estrategia de muestreo y las condiciones de ejecución. Para una IA regulada —especialmente en sectores como banca, seguros o compliance— la propiedad que realmente importa bajo auditoría no es si la explicación es correcta, sino si es lo suficientemente estable para ser defendida. Un equipo de riesgo crediticio en un banco minorista del Reino Unido despliega un modelo de detección de fraude consciente del desbalance. Utiliza TreeSHAP para generar atribuciones de características en cada transacción señalada, adjuntándolas al expediente para revisión de cumplimiento. Seis meses después, un regulador desafía una decisión concreta. El equipo extrae el expediente original, presenta la atribución: 'la decisión se basó en velocidad de transacción, anomalía geográfica y código de categoría del comerciante'. El regulador pide repetir la atribución. El equipo lo hace con el mismo modelo, la misma entrada, la misma implementación de TreeSHAP. El orden de importancia de las características vuelve ligeramente diferente. La velocidad de transacción baja dos puestos. La categoría del comerciante sube tres. El equipo se queda sin argumentos. El modelo no cambió. La entrada no cambió. ¿Qué cambió? La muestra de fondo. TreeSHAP —como todas las variantes de SHAP— calcula las atribuciones como expectativas condicionales sobre una distribución de referencia. Esa distribución se muestrea de los datos de entrenamiento. Si se muestrea un fondo diferente, se obtiene una atribución diferente. La decisión real del modelo no se desplazó; la explicación de la decisión sí. El equipo ha producido un artefacto de defensa de auditoría que otra extracción del mismo procedimiento puede contradecir. Esta es la brecha que la gobernanza de IA empresarial está a punto de descubrir, y de la manera más dura.
La base conceptual de la atribución SHAP es la teoría de juegos cooperativos —concretamente, los valores de Shapley, que distribuyen de manera justa la contribución de cada jugador al resultado de un equipo. Aplicado al aprendizaje automático, los 'jugadores' son las características y el 'resultado' es la predicción. SHAP atribuye cuánto contribuyó cada característica a la diferencia entre la predicción del modelo para esta entrada específica y la predicción esperada del modelo sobre alguna distribución de referencia. Esa última cláusula importa más de lo que parece. La distribución de referencia es la muestra de fondo —normalmente unos cientos de observaciones extraídas de los datos de entrenamiento. SHAP no dice 'la característica X importa tanto'. Dice 'la característica X contribuyó tanto en relación con lo que el modelo habría predicho en promedio sobre esta muestra de fondo específica'. Muestra de fondo diferente, línea base diferente, atribución diferente.
Para modelos deterministas con distribuciones de características estables, esta dependencia es lo suficientemente pequeña como para ser tolerable. Pero para modelos entrenados con desbalance de clases —donde la clase minoritaria se ha sobremuestreado sintéticamente con SMOTE o técnicas similares— la dependencia se vuelve sustancial. La distribución de entrenamiento y la distribución de despliegue divergen; la representatividad de la muestra de fondo se vuelve poco fiable; la varianza de la atribución crece. Esta realidad técnica tiene un nombre medible: σ_SHAP, la varianza entre repeticiones de la atribución media absoluta bajo muestreo rotado de fondo. Formalmente, σ_SHAP = √(m⁻¹ Σⱼ Varₖ(|φⱼ,ₖ|)), donde φⱼ,ₖ es la atribución para la característica j calculada contra la k-ésima muestra de fondo, y la varianza se toma a través de K muestras independientes. La raíz cuadrada produce una medida escalar de inestabilidad de atribución en las mismas unidades que las atribuciones.
En un trabajo reciente sobre predicción de dificultades financieras consciente del desbalance, se midió esta σ_SHAP sobre K=50 muestras de fondo rotadas de 100 observaciones cada una, en el conjunto de datos público de predicción de quiebra de Taiwán. Lo que la medición reveló es consecuencial: la varianza de las atribuciones SHAP a través de fondos rotados es sustancial, y —lo que es más importante para los despliegues en producción— el manejo del desbalance mediante SMOTE amplifica materialmente la inestabilidad. Los modelos entrenados con datos sobremuestreados sintéticamente producen atribuciones con una varianza bajo fondos rotados mayor que los modelos entrenados con los datos originales desbalanceados. La respuesta estándar de producción al desbalance de clases —el sobremuestreo sintético minoritario— degrada la propiedad de defensa de auditoría del modelo resultante. Esto no es una preocupación teórica; es una realidad de ingeniería medida en un benchmark público, con un paquete de reproducibilidad pública que cualquier equipo puede verificar contra su propio pipeline de producción.
¿Por qué esto importa bajo un desafío regulatorio? Los equipos de compliance que leen la declaración supervisora SS1/23 de la PRA del Reino Unido sobre gestión de riesgos de modelos notan el requisito de 'evidencia de validación suficiente' y 'desafío efectivo' de las decisiones del modelo. Normalmente lo interpretan como un requisito de documentación: generar explicaciones, adjuntarlas a los expedientes, retenerlas durante las ventanas de auditoría. Los equipos de ingeniería lo interpretan como 'ejecutar SHAP una vez por decisión y almacenar la salida'. Ambas interpretaciones pasan por alto lo que está por venir. El mecanismo de aplicación de la PRA es el derecho de desafío supervisor sobre decisiones concretas. Un regulador selecciona un caso, solicita a la firma que demuestre la evidencia de validación, y prueba si la explicación es defendible. Si la firma vuelve a ejecutar la atribución y obtiene una respuesta materialmente diferente, la defensa se derrumba —no porque el modelo esté mal, sino porque la explicación era una estimación puntual de una distribución que la firma nunca midió. Las directrices de la Autoridad Bancaria Europea sobre aprendizaje automático aplican una presión similar, exigiendo razonamiento documentado detrás de decisiones individuales del modelo en aplicaciones de riesgo crediticio. La Ley de IA de la UE, para sistemas de alto riesgo, exige interpretabilidad y reproducibilidad como líneas base de cumplimiento. La guía emergente de la FCA sobre IA en servicios financieros enfatiza que las decisiones deben ser reconstruibles bajo desafío. Ninguno de estos instrumentos especifica 'medir la varianza de atribución bajo fondos rotados'. Especifican resultados —y la varianza de atribución es la propiedad que determina si esos resultados pueden realmente entregarse.
La implicación de ingeniería honesta no es que SHAP esté roto o que no deba usarse. Es que la atribución de un solo disparo, tal como se despliega actualmente en producción, está construyendo artefactos de auditoría que la metodología subyacente no respalda. Para lograr una atribución estable se requieren tres cambios en el patrón de despliegue en producción: primero, medir bajo varianza, no como estimación puntual. Los pipelines de atribución en producción deberían calcular atribuciones a través de múltiples muestras de fondo —típicamente de 30 a 100 extracciones independientes— e informar no solo la atribución media sino la varianza entre extracciones. Un regulador debería poder ver 'la característica X contribuye tanto, con tanta incertidumbre', no solo un número. Segundo, fijar un protocolo de fondo para artefactos de defensa de auditoría. Si una atribución específica se adjunta a un expediente para retención de cumplimiento, la muestra de fondo utilizada para generarla debería estar versionada, persistida y reproducible. Esto convierte la atribución de un proceso estocástico en uno determinista para fines de auditoría: la firma se compromete con un fondo específico, registra su identidad, y cualquier repetición utiliza el mismo fondo. Esto es disciplina de ingeniería, no sofisticación técnica. Tercero, considerar la estabilidad de atribución como un criterio de selección de modelos. Al evaluar modelos candidatos, la estabilidad de atribución bajo condiciones de ejecución realistas debería ser una dimensión de evaluación —junto con la precisión predictiva, la calibración y la equidad. Los modelos que producen atribuciones estables bajo variación realista en tiempo de despliegue son operativamente más valiosos que aquellos que producen atribuciones ligeramente más precisas pero materialmente menos estables. Esta compensación es actualmente invisible en la mayoría de los pipelines de selección de modelos porque nadie mide sistemáticamente la dimensión de estabilidad.
En la práctica, la implementación de atribución estable requiere una infraestructura modesta pero disciplina explícita. Los primitivos de ingeniería incluyen: muestreo de fondo con semilla fija (cada extracción de fondo utiliza un estado aleatorio con semilla explícita, registrado en la huella del despliegue; las repeticiones usan la misma semilla); medición rotada de fondo en tiempo de evaluación (el modelo se evalúa no solo en precisión y calibración sino también en σ_SHAP —la varianza de las atribuciones a través de K extracciones de fondo rotadas—, fijando K, el tamaño del fondo y el calendario de semillas de rotación); y persistencia de la identidad del fondo en tiempo de ejecución (cuando se calcula la atribución para una decisión de producción, la identidad de la muestra de fondo —el hash de las observaciones reales utilizadas— se persiste junto con la atribución, la versión del modelo y la entrada; las repeticiones de auditoría usan el fondo persistido). Cuando un regulador desafía una decisión concreta, la firma vuelve a ejecutar SHAP contra el fondo persistido —no contra una nueva muestra aleatoria— y la atribución se reproduce exactamente. Ninguna de estas operaciones es computacionalmente costosa; ninguna requiere investigación novedosa; todas requieren decisiones de ingeniería deliberadas que la mayoría de los despliegues de producción actualmente no están tomando.
Aquí es donde entra Q2BSTUDIO como aliado estratégico. Como empresa especializada en el desarrollo de aplicaciones a medida, Q2BSTUDIO entiende que la IA regulada no puede basarse en artefactos de un solo uso. Sus equipos integran buenas prácticas de medición de estabilidad en los pipelines de aprendizaje automático que construyen para sus clientes, garantizando que las atribuciones sean defendibles bajo escrutinio regulatorio. Además, la compañía ofrece servicios de cloud AWS y Azure que permiten escalar estos procesos con la infraestructura adecuada para persistir muestras de fondo y realizar cálculos rotados sin pérdida de rendimiento. La ciberseguridad también juega un papel fundamental: la integridad de los fondos persistidos y la trazabilidad de las ejecuciones son críticas para cumplir con auditorías externas, y Q2BSTUDIO despliega soluciones de ciberseguridad que protegen estos activos. En el ámbito de la inteligencia de negocio, la compañía utiliza Power BI para visualizar la varianza de atribuciones y ayudar a los equipos de compliance a entender la incertidumbre en las explicaciones. Y, por supuesto, el desarrollo de agentes IA permite automatizar la rotación de fondos y la generación de informes de estabilidad, liberando a los equipos de tareas repetitivas. En un escenario donde la precisión y la estabilidad compiten, Q2BSTUDIO asesora a sus clientes para que tomen la decisión operativamente correcta: priorizar modelos que, aunque ligeramente menos precisos, ofrezcan atribuciones que se mantengan firmes bajo repetición. Esa es la clave para una IA realmente auditable y defendible.
La compensación es real: los despliegues en producción reportarán atribuciones junto con su incertidumbre, y la incertidumbre a veces será incómodamente grande. La respuesta de ingeniería honesta es medir esa incomodidad, reportarla y diseñar alrededor de ella —no suprimirla devolviendo una estimación puntual que el método subyacente no respalda. La defensa de auditoría no consiste en producir mejores explicaciones. Consiste en producir explicaciones cuya estabilidad se pueda medir y defender. Eso es un problema de ingeniería, no un problema de gobernanza. Y es solucionable —si se mide lo que realmente está sucediendo, en lugar de lo que se desearía que sucediera. Las empresas que lleguen primero a esta práctica —midiendo la estabilidad de atribución en tiempo de despliegue, persistiendo identidades de fondo en tiempo de ejecución y tratando la atribución como una propiedad medida en lugar de un artefacto generado— tendrán capacidades de defensa de auditoría que el resto de la industria estará adaptando dentro de cinco años.
