El relleno de formularios parece una tarea trivial para un humano, pero para un agente de software representa un desafío técnico de primer orden. Cuando el formulario es una imagen pura, sin texto OCR, sin estructura DOM y sin etiquetas semánticas, la dificultad se multiplica. El agente debe reconocer visualmente los campos, comprender instrucciones en lenguaje natural, buscar información personal o empresarial, y finalmente rellenar cada hueco con precisión milimétrica. Este escenario aparece con frecuencia en procesos de onboarding digital, cumplimentación de documentos administrativos, declaraciones fiscales, solicitudes de crédito o inscripciones en plataformas gubernamentales. Hasta ahora, la mayoría de los benchmarks para agentes gráficos se centraban en entornos web estructurados, dejando de lado el mundo real de los documentos escaneados o fotografiados.
Para llenar ese vacío, un equipo de investigadores ha presentado FormGym, un benchmark diseñado específicamente para evaluar la capacidad de agentes inteligentes en el relleno de formularios desde el dominio puramente visual. El corpus incluye 432 campos distribuidos en 55 documentos reales, abarcando tres tareas distintas que requieren manejar 236 atributos por cada usuario simulado. Los resultados iniciales son reveladores: los modelos de agente visual y lingüístico (VLA) de última generación apenas superan el 1% de precisión en la mayoría de los casos, fallando sobre todo en la localización espacial de los campos. Los agentes de interfaz gráfica tradicionales (GUI agents) logran entre un 10,6% y un 68%, pero con costes computacionales y latencias muy elevados. Para mejorar esta situación, el estudio introduce FieldFinder, una herramienta de asistencia que ayuda a los modelos de lenguaje (LLM) a identificar dónde debe colocarse cada texto en el formulario. Con FieldFinder, todos los modelos mejoran su rendimiento, alcanzando en el mejor caso un salto del 2% al 56%.
Estos datos tienen implicaciones directas para el desarrollo de soluciones empresariales. En Q2BSTUDIO, empresa especializada en aplicaciones a medida, sabemos que la automatización del relleno de formularios es una demanda creciente en sectores como banca, seguros, logística y administración pública. La capacidad de un sistema para procesar un documento escaneado y extraer la información necesaria sin intervención manual ahorra horas de trabajo y reduce errores. Sin embargo, como demuestra FormGym, la tecnología actual todavía adolece de problemas de precisión, sobre todo en la localización de campos. Aquí es donde entran en juego soluciones complementarias: modelos de lenguaje entrenados con datos específicos del dominio, técnicas de visión por computador mejoradas con redes neuronales convolucionales, y la integración de herramientas como FieldFinder que actúan como un 'copiloto' visual para el LLM.
Desde una perspectiva técnica, el benchmark plantea tres tareas progresivas: relleno de campos simples, relleno condicionado a reglas de negocio (por ejemplo, si el tipo de documento es pasaporte, el campo nacionalidad debe ser el país emisor), y relleno con información externa que requiere consultar una base de datos o una API. Esta última tarea refleja con precisión escenarios reales donde el agente debe recuperar datos de clientes, productos o pedidos desde sistemas CRM o ERP. Para una empresa como Q2BSTUDIO, que ofrece servicios de IA y agentes IA personalizados, estos desafíos son el pan de cada día. Construir un agente que lea un formulario escaneado, interprete la pregunta 'Indique su número de póliza' y luego consulte un sistema de back-end para obtener ese dato, requiere orquestar múltiples capacidades: OCR asistido, razonamiento semántico, integración con APIs y una interfaz de usuario que muestre el progreso al operador.
El estudio también evidencia la importancia de la ciberseguridad en este tipo de procesos. Cuando un agente maneja datos sensibles —nombres, direcciones, números de identificación fiscal—, la transmisión y almacenamiento deben cumplir con normativas como el RGPD o la LOPDGDD. Una solución mal diseñada podría exponer información confidencial si no se implementan medidas de cifrado, control de acceso y auditoría. En Q2BSTUDIO integramos ciberseguridad en cada capa del desarrollo, desde la autenticación del agente hasta la comunicación con servicios cloud. Precisamente, la infraestructura cloud AWS/Azure es un habilitador clave: permite escalar los procesos de relleno de formularios con alta disponibilidad, y alojar modelos de IA que requieren GPUs potentes. Además, los servicios de BI/Power BI pueden consumir los datos extraídos de los formularios para generar dashboards de rendimiento, detección de anomalías o cumplimiento normativo.
La métrica de coste y latencia mencionada en los experimentos de FormGym es otro factor crítico para la adopción empresarial. Un agente que tarda 30 segundos en rellenar un campo y consume créditos de API caros no es viable para procesar miles de formularios al día. Por eso, la optimización del modelo —mediante técnicas como cuantización, destilación o pruning— es un área de trabajo que en Q2BSTUDIO abordamos con metodologías ágiles. Combinamos modelos preentrenados con ajuste fino sobre conjuntos de datos propietarios, y evaluamos el rendimiento en entornos reales antes de pasar a producción. El uso de herramientas como FieldFinder demuestra que no siempre hace falta un modelo más grande; a veces, un asistente externo bien diseñado puede suplir las carencias del modelo base.
Por otro lado, la investigación abre la puerta a aplicaciones más ambiciosas. Si un agente es capaz de rellenar formularios desde imágenes, también podría verificar que el contenido sea correcto, corregir errores y hasta firmar digitalmente el documento. Esto conecta directamente con la tendencia de automatización inteligente de procesos (IPA), donde robots de software (RPA) potenciados con IA gestionan flujos completos desde la recepción de un escaneo hasta el archivo en una base de datos. En Q2BSTUDIO desarrollamos este tipo de soluciones modulares: un módulo de adquisición de imágenes, un motor de reconocimiento, un gestor de reglas de negocio y un conector con sistemas legacy. La experiencia con benchmarks como FormGym nos permite calibrar mejor las expectativas y elegir la arquitectura más adecuada para cada cliente.
En suma, FormGym no es solo un benchmark académico; es una fotografía realista del estado del arte en un área que afecta a decenas de procesos empresariales. Los resultados subrayan que aún queda camino por recorrer, especialmente en la localización visual y en la eficiencia computacional. Sin embargo, herramientas como FieldFinder demuestran que se pueden lograr avances significativos combinando modelos de lenguaje con módulos especializados. Para las empresas que buscan digitalizar sus procesos de gestión documental, la estrategia más sensata es apoyarse en partners tecnológicos con experiencia en múltiples disciplinas: software a medida, inteligencia artificial, ciberseguridad y cloud. En Q2BSTUDIO ofrecemos exactamente esa visión integrada, ayudando a nuestros clientes a convertir un desafío técnico en una ventaja competitiva.
