.jpg)
En el ámbito del aprendizaje continuo, especialmente con grandes modelos pre-entrenados, surge un desafío importante: la interferencia entre tareas y el olvido catastrófico. Para abordar este problema, se han propuesto diversos métodos basados en la mezcla de expertos LoRA, aunque suelen presentar problemas de redundancia e interferencia debido a la presencia de expertos de granulado grueso y enrutamiento ambiguo.
Estos expertos de granulado grueso suelen contener información de baja especialización, lo que puede llevar a duplicaciones y conflictos entre expertos, generando redundancia e interferencia. Además, su baja especialización confunde al enrutador, acelerando la degradación del enrutamiento y el olvido a medida que se acumulan los expertos.
En este contexto, surge la propuesta de MoRAM (Mixture of Rank-1 Associative Memory), un enfoque que busca abordar estos problemas mediante la creación gradual de expertos en memoria asociativa de rango-1. Cada adaptador de rango-1 actúa como un experto MoE de granulado fino o una unidad de memoria asociativa. Al visualizar estos adaptadores como pares clave-valor, se elimina la necesidad de enrutadores explícitos en el sistema MoE-LoRA, utilizando un mecanismo de autoactivación donde cada átomo de memoria evalúa su propia relevancia a través de su clave intrínseca.
Este enfoque transforma el proceso de adaptación en una recuperación robusta y orientada al contenido. Experimentos extensos llevados a cabo en CLIP y LLMs han demostrado que MoRAM supera significativamente a otros enfoques del estado del arte, logrando un equilibrio superior entre plasticidad y estabilidad, mejorando la generalización mientras mitiga el olvido.
En Q2BSTUDIO entendemos la importancia del aprendizaje continuo y la necesidad de sistemas flexibles y adaptables. Nuestros servicios de desarrollo de software a medida pueden ayudar a implementar soluciones basadas en inteligencia artificial para empresas, utilizando agentes de IA y optimizando procesos mediante herramientas como Power BI.
