En el mundo de los sistemas de recomendación en streaming, las preferencias de los usuarios evolucionan dinámicamente con el tiempo. Sin embargo, los métodos basados en bandit existentes tratan al tiempo simplemente como una marca de tiempo, sin considerar su relación explícita con las preferencias de los usuarios, lo que puede llevar a un rendimiento subóptimo. Además, los métodos de aprendizaje en línea a menudo sufren de una exploración-explotación ineficiente durante la fase inicial en línea.
Para abordar estos problemas, se ha propuesto HyperBandit+, una novedosa política de bandit contextual que integra una hypernetwork sensible al tiempo para adaptarse a las preferencias de los usuarios que varían con el tiempo y emplea un mecanismo de inicio rápido asistido por un modelo de lenguaje grande (LLM Start) para mejorar la eficiencia de exploración-explotación en la fase inicial en línea.
Específicamente, HyperBandit+ aprovecha una red neuronal que toma características temporales como entrada y genera parámetros para estimar recompensas que varían con el tiempo capturando la correlación entre el tiempo y las preferencias del usuario. Además, el mecanismo de inicio LLM utiliza una técnica de aumento de datos de múltiples pasos para simular datos de interacción realistas para un aprendizaje offline efectivo, proporcionando parámetros de inicio rápido para la política de bandit en la fase inicial en línea.
Para cumplir con las demandas de recomendaciones de streaming en tiempo real, se adopta una factorización de rango bajo para reducir la complejidad del entrenamiento de la hypernetwork. Teóricamente, se establece rigurosamente un límite superior de arrepentimiento sublineal que tiene en cuenta tanto la hypernetwork como el mecanismo de inicio rápido LLM.
Experimentos extensos en conjuntos de datos del mundo real demuestran que HyperBandit+ supera consistentemente a los baselines de última generación en términos de recompensas acumuladas.
Si estás buscando llevar la inteligencia artificial a tu empresa o desarrollar aplicaciones a medida para potenciar tus procesos internos, en Q2BSTUDIO contamos con un equipo de expertos en desarrollo de software a medida que pueden ayudarte. Además, ofrecemos servicios de inteligencia de negocio y podemos ayudarte a implementar soluciones en la nube de AWS y Azure. ¡Visita nuestra página web para obtener más información!
