La evaluación de agentes de inteligencia artificial generativa ha dado un salto cualitativo con la aparición de entornos que combinan interacción social y acciones fundamentadas. En lugar de probar modelos únicamente en tareas aisladas, los nuevos benchmarks exigen que los agentes sepan cuándo buscar conocimiento, a quién preguntar y cómo actuar basándose en información obtenida de múltiples fuentes. Este enfoque resulta esencial para desarrollar ia para empresas que operen en contextos reales, donde el saber está distribuido entre diferentes roles y las consecuencias de cada decisión dependen de comunicaciones precisas y ejecuciones verificables.
El concepto de entornos sociales distribuidos describe precisamente esa realidad: el conocimiento relevante para una tarea se reparte entre participantes aislados por roles, y las acciones con impacto solo pueden realizarse a través de ellos. La comunicación se convierte así en un mecanismo de exploración sobre el conocimiento particionado, mientras que la acción fundamentada representa la explotación del estado del entorno. Esta dicotomía obliga a los agentes a equilibrar indagación y ejecución, un desafío que los benchmarks tradicionales no contemplaban.
Incognita, un framework construido sobre Concordia, aborda esta necesidad separando la interacción social de la ejecución práctica. En su arquitectura, un agente evaluador enruta mensajes hacia usuarios o entidades especializadas; estos especialistas median en las operaciones permitidas; un subentorno determinista ejecuta las acciones aceptadas sobre un estado canónico; y un evaluador offline califica los resultados con recompensas heredadas. Por ejemplo, Incognita-Retail transforma el benchmark tau-bench retail en un entorno multi-entidad, conservando la semántica de recompensa final. Este diseño permite medir comportamientos como la elicitación de conocimiento oculto, la selección de fuentes adecuadas, los intentos de escritura fundamentada y la detección de finalizaciones prematuras.
Los experimentos con tres modelos generativos sobre 18 tareas estratificadas por amplitud social, en 540 ensayos, revelan progresos significativos pero también limitaciones. La tasa de éxito subió del 0% al 8,9% y 17,2% en los modelos más avanzados, mientras que los finales prematuros cayeron del 100% al 87% y 58%. Los modelos más potentes elicitaron más conocimiento oculto, contactaron más entidades e intentaron más escrituras fundamentadas, pero la fiabilidad general sigue siendo baja. Esto confirma que los entornos sociales distribuidos exponen comportamientos emergentes —como la elicitación de información, la selección de fuentes y los intentos de acción— antes de que se alcance un éxito consistente. Para las empresas que buscan implementar agentes IA en procesos críticos, estos resultados subrayan la importancia de evaluar no solo el resultado final, sino también el proceso de interacción y toma de decisiones.
En Q2BSTUDIO entendemos que la construcción de sistemas multiagente robustos requiere una combinación de experiencia en desarrollo, infraestructura y análisis de datos. Por eso ofrecemos servicios de inteligencia artificial que permiten diseñar, evaluar y desplegar agentes capaces de operar en entornos sociales complejos. Además, nuestra capacidad para crear aplicaciones a medida y software a medida garantiza que cada solución se adapte a las necesidades específicas del negocio, integrando módulos de comunicación y ejecución similares a los que propone Incognita. Para respaldar estos despliegues, contamos con servicios cloud aws y azure que proporcionan la escalabilidad y fiabilidad necesarias, así como con servicios inteligencia de negocio basados en power bi para monitorear y optimizar el rendimiento de los agentes en tiempo real. Y no olvidamos la seguridad: nuestras soluciones incluyen ciberseguridad y pentesting para proteger las interacciones y los datos sensibles en entornos multiagente.
La investigación con Incognita demuestra que la evaluación rigurosa en entornos sociales distribuidos es clave para avanzar hacia una inteligencia artificial más confiable y efectiva. En Q2BSTUDIO ayudamos a las empresas a traducir estos hallazgos en soluciones prácticas, combinando innovación tecnológica con un enfoque centrado en el valor de negocio. Ya sea que necesite desarrollar ia para empresas, implementar agentes IA o fortalecer su infraestructura con servicios cloud y de ciberseguridad, nuestro equipo está preparado para acompañarle en cada paso.
