El aprendizaje por refuerzo con recompensas verificables (RLVR) se ha convertido en un paradigma indispensable para potenciar el razonamiento en los Modelos de Lenguaje a Gran Escala (LLMs). Sin embargo, los métodos estándar de optimización de políticas, como la Optimización de Políticas Relativas de Grupo (GRPO), a menudo convergen en políticas de baja entropía, lo que provoca un colapso de modos severo y una diversidad de resultados limitada. Este problema se analiza desde la dinámica de probabilidad de muestreo, identificando que el objetivo estándar refuerza desproporcionadamente los caminos de mayor probabilidad, suprimiendo cadenas de razonamiento alternativas válidas.
Para abordar esto, se propone un nuevo Mecanismo de Reponderación de Ventajas (ARM) diseñado para equilibrar los niveles de confianza en todas las respuestas correctas. Al incorporar la Perplejidad de la Pregunta y la Confianza de la Respuesta en la estimación de ventajas, nuestro método remodela dinámicamente la señal de recompensa para atenuar las actualizaciones de gradiente de razonamiento sobreconfiado, redistribuyendo la masa de probabilidad hacia soluciones correctas menos exploradas. Los resultados empíricos demuestran que nuestro enfoque mejora significativamente la diversidad generativa y la entropía de respuesta, manteniendo al mismo tiempo una precisión competitiva, logrando efectivamente un mejor equilibrio entre exploración y explotación en tareas de razonamiento.
Por ejemplo, en modelos matemáticos y de código, como Qwen2.5 y DeepSeek, se observa que ProGRPO mitiga significativamente el colapso de entropía. Específicamente, en Qwen2.5-7B, nuestro método supera a GRPO en un 5.7% en Pass@1 y, notablemente, en un 13.9% en Pass@32, resaltando su capacidad superior para generar diversos caminos de razonamiento correcto.
Si quieres mejorar la eficiencia de tus procesos empresariales mediante inteligencia artificial, en Q2BSTUDIO ofrecemos soluciones de software a medida que se ajustan a las necesidades de tu empresa. Contáctanos para conocer más sobre nuestras aplicaciones personalizadas y servicios de inteligencia artificial para empresas.
Descubre cómo nuestras aplicaciones a medida pueden potenciar tu negocio
