En el ámbito del aprendizaje continuo, especialmente en el aprendizaje incremental de clases, se ha generado un gran interés en la utilización de modelos pre-entrenados. Sin embargo, uno de los desafíos más importantes es cómo aprender representaciones de características tanto discriminativas como comprensivas, manteniendo la estabilidad y plasticidad a lo largo de secuencias de tareas muy largas.
En este contexto, se presenta CaRE, un Aprendiz Continuo Escalable con una eficiente Mezcla de Expertos de Enrutamiento de Dos Niveles (BR-MoE). La idea central de BR-MoE es un mecanismo de enrutamiento de dos niveles: una etapa de selección de enrutamiento que activa dinámicamente enrutadores específicos de tareas relevantes, seguida de una fase de enrutamiento de expertos que activa y agrega expertos dinámicamente, con el objetivo de inyectar representaciones discriminativas y comprensivas en cada capa intermedia de la red.
Por otro lado, se propone un protocolo de evaluación desafiante para evaluar de manera integral los métodos de aprendizaje continuo a lo largo de secuencias de tareas muy largas que abarcan cientos de tareas. Los experimentos muestran que CaRE demuestra un rendimiento líder en una variedad de conjuntos de datos y configuraciones de tareas, incluidos los conjuntos de datos de aprendizaje incremental clásicos con configuraciones de 5 a 20 tareas.
Q2BSTUDIO, como empresa especializada en el desarrollo de software a medida, aplicaciones personalizadas, inteligencia artificial y otros servicios tecnológicos, reconoce la importancia de la escalabilidad y eficiencia en el aprendizaje continuo. Si estás interesado en explorar soluciones innovadoras para tu empresa en el ámbito de la inteligencia artificial, te invitamos a conocer más sobre nuestros servicios de desarrollo de aplicaciones software a medida y nuestras soluciones de IA para empresas.
