Más allá de la curva de pérdida: Leyes de escala, aprendizaje activo y los límites del aprendizaje a partir de posteriores exactos

El avance de la inteligencia artificial ha llevado a investigaciones cada vez más profundas sobre el rendimiento de los modelos de redes neuronales. Uno de los aspectos clave es determinar qué tan cerca están estas redes de alcanzar su máximo potencial. Esto plantea un desafío, ya que las pruebas estándar carecen del acceso al verdadero posterior p(y|x), lo que limita la evaluación de su rendimiento real. En este contexto, surge la utilización de flujos normalizados condicionales de clase como oráculos, permitiendo que los posteriores exactos sean factibles en imágenes realistas, como en los conjuntos de datos AFHQ e ImageNet. Este enfoque posibilita cinco líneas de investigación que revelan aspectos clave sobre el desempeño de las redes neuronales. En primer lugar, las leyes de escala muestran que el error de predicción se descompone en incertidumbre aleatoria irreducible y error epistémico reducible. Aquí, el componente epistémico sigue una ley de potencia en función del tamaño del conjunto de datos, lo que indica que sigue disminuyendo incluso cuando la pérdida total se estabiliza. Por otro lado, se exploran los límites del aprendizaje, demostrando que el suelo aleatorio es medible exactamente y que las arquitecturas varían en cómo lo abordan. Mientras que las ResNets muestran una escalabilidad limpia en ley de potencia, los Vision Transformers se estancan en regímenes de poca cantidad de datos. Un punto destacado es la relevancia de las etiquetas suaves, ya que los posteriores exactos contienen una estructura aprendible más allá de las etiquetas de clase. Entrenar con posteriores exactos supera el desempeño de las etiquetas duras y proporciona una calibración casi perfecta. Además, al analizar el cambio en la distribución de datos, se revela que el tipo de cambio es más relevante que su magnitud. La distribución de clases apenas afecta la precisión en valores de divergencia donde el ruido de entrada ocasiona una degradación catastrófica. En cuanto al aprendizaje activo, la incertidumbre epistémica exacta distingue entre muestras verdaderamente informativas y aquellas inherentemente ambiguas, lo que mejora la eficiencia de las muestras. En Q2BSTUDIO, entendemos la importancia de utilizar enfoques innovadores como estos para el desarrollo de aplicaciones a medida y el aprovechamiento de la inteligencia artificial en las empresas. Nuestros servicios de desarrollo de software a medida y de soluciones en la nube, como AWS y Azure, se basan en las últimas tendencias en IA y ciberseguridad para brindar soluciones eficientes a nuestros clientes. Descubre más sobre nuestras soluciones de inteligencia de negocio y Power BI en el siguiente enlace: Business Intelligence Power BI, y conoce cómo podemos ayudarte a impulsar tu empresa con tecnología de vanguardia en inteligencia artificial en este enlace: Inteligencia Artificial para Empresas.