En el campo del Aprendizaje por Refuerzo con Recompensas Verificables, se ha logrado avanzar en las capacidades de los Grandes Modelos de Lenguaje en tareas de razonamiento complejo al proporcionar supervisión explícita basada en reglas. Entre los métodos de RLVR, GRPO y sus variantes han alcanzado un rendimiento empírico sólido. Sin embargo, a pesar de su éxito, se ha identificado que sufren de Asignación Incorrecta de Gradiente en Positivos y Dominación de Gradiente en Negativos, lo que conlleva actualizaciones de políticas ineficientes y subóptimas.
Para abordar estos problemas, proponemos Recompensas como Etiquetas (REAL), un nuevo marco que revisita las recompensas verificables como etiquetas categóricas en lugar de pesos escalares, reformulando así la optimización de políticas como un problema de clasificación. A partir de esto, introducimos logit ancla para mejorar el aprendizaje de políticas. Nuestro análisis revela que REAL induce un peso de gradiente monótono y acotado, lo que permite una asignación equilibrada de gradientes en las ejecuciones y mitiga eficazmente las discrepancias identificadas.
Experimentos extensos en bancos de pruebas de razonamiento matemático muestran que REAL mejora la estabilidad del entrenamiento y supera sistemáticamente a GRPO y a variantes sólidas como DAPO. En el modelo 1.5B, REAL mejora el Pass@1 promedio sobre DAPO en un 6.7%. Estas mejoras se escalan aún más al modelo de 7B, donde REAL sigue superando a DAPO y GSPO en un 6.2% y 1.7%, respectivamente. Es destacable que, incluso con una simple entropía cruzada binaria, REAL permanece estable y supera a DAPO en un 4.5% en promedio.
En un mercado cada vez más competitivo y tecnológico como el actual, contar con soluciones de software a medida y utilizar tecnologías como la inteligencia artificial se vuelve imprescindible para destacar y mantenerse relevantes. Q2BSTUDIO ofrece servicios de desarrollo de aplicaciones y software a medida que se adaptan a las necesidades específicas de cada empresa, brindando soluciones personalizadas que incorporan IA para empresas y agentes IA para optimizar procesos y mejorar el rendimiento empresarial.
Para aquellas empresas interesadas en fortalecer su seguridad informática y proteger sus datos, también se encuentran disponibles servicios de ciberseguridad y pentesting. Además, Q2BSTUDIO brinda servicios en la nube, tanto en AWS como en Azure, para garantizar un almacenamiento seguro y eficiente de la información. Asimismo, para aquellos que buscan sacar el máximo provecho de sus datos, la empresa ofrece servicios de inteligencia de negocio y Power BI para analizar, visualizar y gestionar la información de forma estratégica.
