La evaluación de agentes de código ha estado dominada durante años por una métrica simple: el resultado final. Un agente es bueno si supera una batería de pruebas y malo si no lo consigue. Esa visión binaria, útil para comparar modelos de forma rápida, deja fuera la experiencia real de quien trabaja con estas herramientas en un entorno de desarrollo. Cada ejecución es un proceso compuesto por decisiones, intentos, errores y correcciones, y todo ese recorrido determina si un agente resulta verdaderamente productivo o no. AgentLens aborda precisamente esta carencia, proponiendo una evaluación por trayectorias en lugar de una evaluación por resultado.
La propuesta combina verificación formal, revisiones de trayectoria generadas por modelos de lenguaje y comparaciones lado a lado. La verificación formal aporta un criterio objetivo cuando existe una comprobación clara, como el resultado de pruebas automatizadas o la validez de una transformación de código. Las revisiones de trayectoria, por su parte, interpretan el comportamiento del agente durante la ejecución: cómo sigue las instrucciones, cómo selecciona y usa sus herramientas, cómo verifica su propio trabajo, cómo se recupera de los errores y cómo se comunica con la persona que lo supervisa. Las comparaciones lado a lado permiten situar dos ejecuciones frente a frente y razonar sobre cuál es más segura, eficiente o comprensible. El resultado no es una nota opaca, sino una explicación legible de por qué se ha obtenido una puntuación concreta.
Para una empresa de desarrollo de software como Q2BSTUDIO, la evaluación por trayectorias tiene implicaciones prácticas muy valiosas. Cuando construimos aplicaciones a medida que incorporan agentes de IA, necesitamos saber no solo si el agente termina la tarea, sino si lo hace de una manera que pueda auditarse, mantenerse y explicarse al cliente. Un agente que aprueba un test pero ha sobrescrito datos sin avisar, o que ha trabajado en una rama de código equivocada, sería un riesgo en un proyecto real. La evaluación por trayectorias permite detectar estos comportamientos antes de que lleguen a producción.
Además, encaja con nuestra visión de inteligencia artificial aplicada a procesos de negocio. No se trata de sustituir a las personas, sino de crear asistentes que sepan cuándo actuar y cuándo preguntar. Para que esos asistentes sean fiables, la medición debe incluir la calidad de la interacción, la claridad de las explicaciones y la capacidad de rectificar. AgentLens permite monitorizar todos esos aspectos en un pipeline nocturno, de modo que una nueva versión del agente pueda compararse con la anterior antes de desplegarse. Es una herramienta de diagnóstico y de control de regresiones, no solo de clasificación.
En términos de infraestructura, un sistema de evaluación de este tipo requiere cierta madurez técnica. Las ejecuciones de agentes pueden consumir recursos significativos, por lo que conviene disponer de entornos en cloud AWS/Azure que permitan lanzar pruebas en paralelo y aislar cada experimento. Desde Q2BSTUDIO trabajamos habitualmente con estas plataformas para construir entornos de integración continua, y la evaluación de agentes sigue el mismo patrón: cada ejecución debe ser reproducible, trazable y destruible. La nube facilita además la gestión de credenciales, un aspecto crítico porque un agente con acceso a un repositorio debe tener permisos mínimos y nunca exponer secretos.
La ciberseguridad también juega un papel relevante. Un agente de código mal evaluado puede convertirse en una puerta de entrada para ataques de inyección de instrucciones o para la filtración de información sensible. Por eso, en nuestros proyectos de ciberseguridad aplicamos una capa adicional de control a cualquier automatización basada en IA. La trayectoria de un agente es un registro de auditoría: permite reconstruir qué hizo, con qué datos y con qué consecuencias. Evaluar esa trayectoria es, en el fondo, una medida de seguridad.
Por otra parte, los resultados de AgentLens pueden integrarse en paneles de Business Intelligence. Las organizaciones que invierten en agentes de código quieren ver tendencias: cómo evoluciona la tasa de éxito, qué tipos de tareas generan más errores, si las revisiones de trayectoria muestran patrones de comunicación deficientes. Con herramientas de BI/Power BI es posible transformar estos datos en cuadros de mando que ayuden a decidir dónde centrar la mejora. En Q2BSTUDIO ayudamos a nuestros clientes a diseñar esa capa de observabilidad, conectando la evaluación de los agentes con las métricas de negocio.
La filosofía de AgentLens no es exclusiva del ámbito académico. Su diseño como benchmark de código abierto permite que cualquier equipo lo adopte, lo adapte y lo ejecute en su propio pipeline. Eso lo hace especialmente atractivo para empresas que quieren tomar decisiones basadas en evidencia y no en impresiones. En lugar de preguntarse únicamente si la prueba ha pasado, el equipo puede preguntarse si el agente ha trabajado como se esperaba. La diferencia parece sutil, pero en la práctica cambia por completo la conversación.
El énfasis en la trayectoria tiene además una consecuencia directa en la confianza. Los desarrolladores que usan asistentes de IA necesitan entender qué ha hecho el agente antes de aceptar su resultado. Una puntuación binaria no ayuda a generar confianza; una explicación detallada, sí. Cuando un agente puede mostrar que ha ejecutado las pruebas, que ha corregido los fallos encontrados y que ha comunicado sus decisiones con claridad, su trabajo se vuelve mucho más fácil de revisar. Esa capacidad de revisión es la base para integrar agentes en flujos de trabajo serios.
En definitiva, AgentLens representa un avance necesario en la madurez de los agentes de código. A medida que más empresas confían en asistentes de IA para escribir, revisar y desplegar software, necesitamos mejores instrumentos para entender su comportamiento. La evaluación por trayectoria, con sus explicaciones legibles y sus comparaciones contextuales, es probablemente el camino más sensato. En Q2BSTUDIO seguimos de cerca estas propuestas para aplicarlas en proyectos de software a medida, cloud, ciberseguridad y business intelligence, porque sabemos que un agente útil no es solo el que acierta, sino el que acierta por las razones correctas.
