Hace tiempo que no publico nada. El título puede sonar sensacionalista pero la idea que comparto aquí aporta valor real para pruebas visuales automatizadas y además explico cómo integrarla con inteligencia artificial sin depender exclusivamente de herramientas de pago. La inspiración vino de un framework móvil llamado Maestro que incluye una función para validar visualmente con IA, y yo quise replicar ese concepto con Playwright y la API de OpenAI para confirmar elementos visuales en pantalla de forma robusta y flexible.
La propuesta es sencilla y práctica: durante una prueba con Playwright se captura una captura de pantalla, se codifica en base64 y se envía como entrada a un modelo conversacional junto con una instrucción clara tipo responder solo si existe o no determinado elemento visual. El flujo por pasos sería: tomar screenshot del page, convertirla a un formato que admita la API, enviar la imagen junto con la pregunta al modelo, recibir la respuesta en texto y validar esa respuesta con una aserción en la prueba. Esto permite comprobar cosas que a veces rompen los snapshots tradicionales, como rutas en un mapa, textos dinámicos o componentes gráficos que cambian frecuentemente.
Ventajas de este enfoque: mayor tolerancia a cambios estéticos menores, capacidad de validar propiedades semánticas visibles sin tener que escribir selectores muy frágiles y posibilidad de añadir comprobaciones en lenguaje natural para testers no especializados en código. Limitaciones a considerar: coste de uso de la API según el volumen, latencia extra por la llamada al servicio de IA y necesidad de diseñar prompts claros para evitar ambigüedad en las respuestas del modelo.
Un ejemplo práctico de uso en una prueba sería describir en el prompt algo como si existe un mapa con una ruta que empieza en una ciudad concreta y termina en otra, pedir una respuesta simple tipo SI o NO y luego convertir esa respuesta en una aserción dentro del test. De este modo se combinan las fortalezas de Playwright para la navegación y sincronización con la capacidad de interpretación visual de modelos de lenguaje multimodal.
En Q2BSTUDIO aplicamos soluciones similares dentro de nuestros servicios de desarrollo de software a medida y aplicaciones a medida, integrando inteligencia artificial para mejorar la calidad y velocidad de las pruebas automatizadas. Si su empresa necesita trasladar estas ideas a un proyecto real, podemos diseñar desde la arquitectura de pruebas hasta la implementación de agentes IA que automaticen comprobaciones complejas y reduzcan la fragilidad de los tests.
Nuestra oferta incluye desarrollo de software a medida y soluciones en la nube, soporte para servicios cloud aws y azure, y servicios de ciberseguridad y pentesting para asegurar que las integraciones de IA y las APIs estén protegidas. También implementamos servicios de inteligencia de negocio y dashboards con power bi para explotar la información que generan las pruebas y la telemetría, y ofrecemos consultoría en ia para empresas y agentes IA para automatizar decisiones y flujos.
Si quieres saber más sobre cómo podemos desarrollar aplicaciones a tu medida visita nuestros servicios de desarrollo de aplicaciones y software a medida y para soluciones avanzadas de inteligencia artificial revisa nuestra propuesta de inteligencia artificial para empresas. En Q2BSTUDIO combinamos experiencia en automatización de procesos, ciberseguridad, servicios cloud aws y azure, y business intelligence para entregar soluciones completas y seguras.