En el ámbito del aprendizaje por refuerzo (RL), especialmente desde la perspectiva del aprendizaje por refuerzo a partir de recompensas verificables (RLVR), se ha convertido en una fase crucial en el entrenamiento de grandes modelos de lenguaje (LLMs) y un enfoque clave de los esfuerzos actuales de escalado. Sin embargo, las prácticas de optimización en RL siguen en gran medida las etapas de predicción del siguiente token (por ejemplo, preentrenamiento y ajuste fino supervisado), a pesar de las diferencias fundamentales entre RL y estas etapas resaltadas en trabajos recientes.
Una de estas prácticas es el uso del optimizador AdamW, ampliamente adoptado para entrenar transformadores a gran escala a pesar de su alto costo de memoria. Nuestro análisis muestra que tanto el momento como las tasas de aprendizaje adaptativas en AdamW son menos influyentes en RL que en el ajuste fino supervisado, lo que nos lleva a plantear la hipótesis de que RL se beneficia menos de las tasas de aprendizaje adaptativas por parámetro y del momento al estilo Adam. Confirmada esta hipótesis, nuestros experimentos demuestran que el SGD (descenso de gradiente estocástico) bastante más eficiente en términos de memoria, que se sabe que funciona mal en el aprendizaje supervisado de transformers a gran escala, iguala o incluso supera a AdamW en RL para LLMs.
Es sorprendente que el ajuste fino completo con SGD actualice menos del 0.02% de los parámetros del modelo sin ninguna regularización que promueva la dispersión, más de 1000 veces menos que AdamW. Nuestro análisis ofrece posibles razones para esta escasez de actualización. Estos hallazgos proporcionan nuevas perspectivas sobre la dinámica de optimización del aprendizaje por refuerzo en LLMs y demuestran que el RL puede ser sustancialmente más eficiente en términos de parámetros de lo que se reconocía anteriormente.
En Q2BSTUDIO, empresa especializada en el desarrollo de aplicaciones a medida y software personalizado, conocemos la importancia de implementar tecnologías como inteligencia artificial (IA) de manera eficiente y rentable. Nuestros servicios de desarrollo de software a medida permiten a las empresas aprovechar al máximo las ventajas de la IA para optimizar sus procesos y mejorar sus resultados. Además, ofrecemos soluciones avanzadas en ciberseguridad y servicios en la nube con AWS y Azure, así como servicios de inteligencia de negocio con Power BI.
Para saber más sobre cómo podemos ayudarte a implementar soluciones de inteligencia artificial en tu empresa, visita nuestro enlace sobre IA para empresas. Si estás interesado en desarrollar aplicaciones a medida para potenciar tu negocio, encuentra más información en nuestro enlace sobre desarrollo de aplicaciones a medida.
