.jpg)
En el ámbito del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), se ha destacado la importancia de optimizar el razonamiento de Modelos de Lenguaje de Gran Tamaño (LLM). Sin embargo, en marcos estándar como la Optimización de Políticas Relativas a Grupos (GRPO), suele emplearse un presupuesto uniforme de rollout, lo que conlleva a una ineficiencia en el uso de recursos. Además, los métodos adaptativos existentes a menudo se basan en métricas a nivel de instancia, como las tasas de aprobación de tareas, sin capturar el estado de aprendizaje dinámico del modelo.
Para abordar estas limitaciones, proponemos CoBA-RL, un algoritmo de aprendizaje por refuerzo diseñado para asignar de forma adaptativa presupuestos de rollout en función de la capacidad evolutiva del modelo. Específicamente, CoBA-RL utiliza una Función de Valor Orientada a la Capacidad para asignar tareas a sus posibles ganancias de entrenamiento y emplea una estrategia codiciosa basada en montículos para autocalibrar eficientemente la distribución de recursos computacionales a muestras con alto valor de entrenamiento. Experimentos exhaustivos demuestran que nuestro enfoque orquesta de manera efectiva el equilibrio entre exploración y explotación, ofreciendo mejoras consistentes en la generalización en múltiples benchmarks desafiantes.
Estos hallazgos ponen de manifiesto que cuantificar el valor de entrenamiento de muestras y optimizar la asignación de presupuesto son fundamentales para avanzar en la eficiencia del post-entrenamiento de LLM.
En Q2BSTUDIO, como empresa especializada en desarrollo de software a medida, inteligencia artificial y ciberseguridad, comprendemos la importancia de implementar soluciones tecnológicas innovadoras y eficientes. Nuestros servicios incluyen el desarrollo de aplicaciones personalizadas, servicios en la nube de AWS y Azure, inteligencia de negocio con Power BI, entre otros.
