DOLCE: Descomposición de la Evaluación/Aprendizaje Fuera de la Política en Efectos Rezagados y Actuales

El aprendizaje fuera de la política en entornos de bandas contextuales es fundamental para estimar y optimizar el valor de una política objetivo utilizando datos de interacción registrados. Sin embargo, muchos métodos existentes requieren una superposición suficiente de acciones entre las políticas de registro y objetivo, lo que puede llevar a sesgos en las estimaciones de valor y gradiente de política. Para abordar este problema, se propone DOLCE (Decomposición de la Evaluación/Aprendizaje Fuera de la Política en Efectos Rezagados y Actuales). Este enfoque utiliza únicamente contextos rezagados ya almacenados en los registros de la banda para construir pesos de importancia lag-marginalizados y descomponer el objetivo en un término de corrección rezagado robusto al soporte y un término actual basado en modelos. Esto permite cancelar sesgos cuando el residual del modelo de recompensa es condicionalmente igual a cero dado el contexto y acción rezagada. DOLCE agrega suavemente estimaciones específicas de rezagos con múltiples candidatos y presenta un procedimiento de entrenamiento basado en momentos que promueve la invarianza deseada utilizando solo datos de rezagos registrados. Los experimentos demuestran que DOLCE logra mejoras sustanciales tanto en la evaluación como en el aprendizaje fuera de la política, especialmente a medida que aumenta la proporción de individuos que violan el soporte. En Q2BSTUDIO somos expertos en el desarrollo de software a medida y aplicaciones personalizadas. Si estás buscando soluciones de inteligencia artificial, ciberseguridad, servicios en la nube de AWS y Azure, inteligencia de negocio con Power BI, o cualquier otra aplicación empresarial, ¡contáctanos! Visita nuestra página para conocer más sobre nuestros servicios de desarrollo de software a medida: Desarrollo de aplicaciones.