Memoria FreshMem: Memoria híbrida de espacio de frecuencia inspirada en el cerebro para entender videos en streaming

El desarrollo de sistemas de inteligencia artificial para entender videos en streaming es fundamental en la actualidad para mejorar la percepción continua de información visual. Es en este contexto que surge FreshMem, una memoria híbrida de espacio de frecuencia inspirada en el funcionamiento del cerebro humano. FreshMem busca resolver la pérdida de detalle irreversible y la fragmentación del contexto que suelen presentar los modelos de lenguaje grandes y multimodales (MLLM) al pasar de un análisis offline a uno en tiempo real. Esta memoria innovadora se basa en dos módulos complementarios: Multi-scale Frequency Memory (MFM) y Space Thumbnail Memory (STM). El módulo MFM se encarga de proyectar frames excesivos en coeficientes de frecuencia representativos, permitiendo reconstruir una imagen global del "esquema" histórico de forma eficaz. Por otro lado, el módulo STM divide el flujo continuo en episodios discretos usando una estrategia de compresión adaptable, generando miniaturas de alta densidad que facilitan el procesamiento y la comprensión de la información. Los experimentos realizados han demostrado que FreshMem mejora significativamente el rendimiento de modelos base como el Qwen2-VL, con aumentos del 5.20%, 4.52% y 2.34% en StreamingBench, OV-Bench y OVO-Bench respectivamente. Esta solución, que prescinde de un entrenamiento previo, supera a varios métodos completamente ajustados, ofreciendo así un enfoque altamente eficiente para la comprensión de videos en streaming a largo plazo. En Q2BSTUDIO estamos especializados en el desarrollo de aplicaciones a medida y software personalizado, brindando soluciones tecnológicas innovadoras que aprovechan al máximo las capacidades de la inteligencia artificial. Además, ofrecemos servicios de ciberseguridad, implementación de servicios en la nube de AWS y Azure, inteligencia de negocio con Power BI, entre otros. Si estás interesado en potenciar tu empresa con agentes de IA o en automatizar procesos, ¡contáctanos para comenzar a transformar tu negocio!