En evaluación de modelos solemos confiar en métricas familiares como precisión y exhaustividad, pero esos números pueden engañar. Un sistema puede obtener buena precisión gracias a sesgos en las clases o a predicciones de suerte, mientras que la exhaustividad puede ocultar que el modelo no distingue realmente entre clases. Antes de celebrar, conviene comprobar si el rendimiento supera lo que cabría esperar por azar.
Para entender por qué, conviene repasar la matriz de confusión: verdaderos positivos, falsos positivos, verdaderos negativos y falsos negativos. Precisión mide cuántas de las predicciones positivas son correctas, y exhaustividad mide cuántos de los positivos reales el modelo detecta. Ambas son útiles, pero no cuentan toda la historia: dependen del umbral de decisión, se ven afectadas por el desequilibrio de clases y no siempre reflejan cuánto aporta el modelo más allá de la probabilidad previa.
Aquí entran en juego informatividad y marcado. Informatividad cuantifica cuánto aporta una decisión sobre el azar desde la perspectiva del resultado real; se puede ver como exhaustividad más especificidad menos uno. Marcado mira desde el lado de la predicción: mide cuánto indica la etiqueta predicha el resultado verdadero; se calcula como precisión más valor predictivo negativo menos uno. Ambas métricas están centradas en cero cuando el modelo no aporta información respecto al azar y varían entre menos uno y uno, lo que facilita interpretar si el modelo ayuda o perjudica frente a una estrategia aleatoria o sesgada.
Las ventajas de usar informatividad y marcado son prácticas. Al compensar el sesgo de clase ofrecen una medida más honesta de utilidad. Están relacionadas con curvas ROC y con medidas de correlación (por ejemplo la correlación de Matthews comparte ideas similares), pero con una interpretación intuitiva: valores positivos indican ganancia sobre el azar, valores negativos indican decisiones sistemáticamente equivocadas.
En la práctica conviene combinar métricas. Para problemas con fuerte desequilibrio usar curvas Precision Recall y AUPRC, inspeccionar ROC AUC cuando sea apropiado, y complementar con informatividad y marcado para evaluar la ganancia real sobre el azar. Calibrar umbrales, comparar contra una línea base aleatoria y reportar múltiples indicadores evita conclusiones engañosas.
En Q2BSTUDIO ayudamos a las empresas a diseñar, evaluar y desplegar soluciones robustas de inteligencia artificial y software a medida. Nuestros servicios cubren desde desarrollo de aplicaciones a medida y software a medida hasta ciberseguridad, pentesting y servicios cloud aws y azure. Si necesitas validar modelos y preparar despliegues productivos, ofrecemos consultoría en soluciones de inteligencia artificial y proyectos de servicios de Business Intelligence y Power BI para que tus decisiones se apoyen en métricas confiables.
Palabras clave que aplicamos en nuestros proyectos: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Si quieres que tus modelos no solo 'parezcan' buenos, sino que realmente aporten valor, contacta con Q2BSTUDIO para diseñar una evaluación y un despliegue medible y seguro.