.jpg)
En el campo del aprendizaje automático, el enfoque de Vision-Language-Action (VLA) ha cobrado relevancia en los últimos años como una vía fundamental hacia la inteligencia general encarnada. Sin embargo, la eficiencia en el entrenamiento de estos modelos se ha convertido en un cuello de botella importante. A pesar de que los marcos de entrenamiento basados en aprendizaje por refuerzo (RL) como RLinf pueden mejorar la generalización del modelo, aún dependen de la ejecución síncrona, lo que conduce a una subutilización severa de recursos y limitaciones de rendimiento durante la interacción con el entorno, la generación de políticas (rollout) y las actualizaciones del modelo.
Para hacer frente a este desafío, este estudio propone e implementa, por primera vez, un marco de entrenamiento de políticas completamente asincrónico que abarca todo el proceso, desde la interacción con el entorno, la generación de rollout, hasta las actualizaciones de políticas del actor. Inspirándose sistemáticamente en ideas de optimización asincrónica en RL de grandes modelos, nuestro marco diseña una arquitectura desacoplada a varios niveles. Esto incluye la paralelización asincrónica de la interacción con el entorno y la recopilación de trayectorias, la ejecución en streaming para la generación de políticas y la programación desacoplada para las actualizaciones de entrenamiento.
Validamos la efectividad de nuestro método en diversos modelos y entornos VLA. En la prueba LIBERO, el marco logra mejoras de rendimiento de hasta un 59.25% en comparación con las estrategias síncronas existentes. Al optimizar estrategias de separación, el rendimiento puede aumentar hasta un 126.67%. Verificamos la efectividad de cada componente asincrónico a través de estudios de ablación. La validación de la ley de escala entre 8 y 256 GPUs demuestra la excelente escalabilidad de nuestro método en la mayoría de las condiciones.
Si tu empresa requiere soluciones de software a medida que incorporen inteligencia artificial, Q2BSTUDIO puede ser tu aliado estratégico. Ofrecemos servicios de desarrollo de aplicaciones personalizadas, implementación de IA para empresas y consultoría en inteligencia de negocio con Power BI. Además, contamos con experiencia en servicios cloud en plataformas como AWS y Azure, así como en ciberseguridad y pentesting para garantizar la protección de tus datos.
No dudes en contactar con Q2BSTUDIO para descubrir cómo nuestras soluciones tecnológicas pueden potenciar la transformación digital de tu empresa.
