A la indústria dels agents d'intel·ligència artificial, hi ha una paradoxa que cada cop més equips de producte afronten: una conversa pot obtenir una puntuació perfecta en totes les mètriques tradicionals, però el producte en conjunt continua sent defectuós. Aquest desajust entre l'avaluació a nivell de traça i el comportament real del sistema està transformant la manera com les empreses mesuren la qualitat dels seus agents. Ja no n'hi ha prou amb examinar interaccions individuals; el nou paradigma exigeix comparar cohorts completes d'usuaris respecte a una línia de base, un mètode conegut com a anàlisi contrastiva.
L'evolució dels sistemes d'avaluació també s'està movent des dels grans models de llenguatge com a jutges universals cap a models més petits, barats i especialitzats. Fins i tot es comença a utilitzar un agent com a jutge d'un altre agent. No obstant això, la tensió fonamental no està en quin tipus de model utilitzar, sinó en l'equilibri entre automatització escalable i judici humà. L'automatització, ja sigui mitjançant LLM o agent, ofereix volum però manca d'arrelament en la realitat del negoci. L'ésser humà proporciona aquest arrelament, però no escala. Les empreses han de triar quin verí volen prendre, com assenyalen els experts. La solució no és binària, sinó híbrida: automatitzar el que es pugui i deixar els casos límit sota revisió humana.
Molts equips han intentat resoldre aquesta bretxa construint suites d'avaluació exhaustives abans de llançar cap funcionalitat. Però aquesta estratègia sol provocar una paràlisi per avaluació: setmanes dedicades a dissenyar tests que, en producció, no capturen les fallades reals. La lliçó apresa és que les avaluacions han de ser especificacions vives, no un conjunt estàtic de proves. Han d'evolucionar amb el producte, funcionant com un document de requisits que defineix el comportament esperat de l'agent. Els equips més efectius llancen versions primerenques, monitoritzen en temps real i retroalimenten les seves avaluacions amb els patrons d'error que descobreixen en producció. Aquest enfocament iteratiu és clau per evitar la sobreenginyeria de les proves.
Un error particularment comú és puntuar cada conversa de forma aïllada. Imaginem un usuari que pregunta per un producte, l'agent realitza preguntes de qualificació i finalment es concreta una compra. Individualment, aquesta interacció sembla un èxit. No obstant, en analitzar tota la cohort d'usuaris que interactuen amb el mateix agent, poden emergir senyals d'alarma: una taxa de preguntes aclaridores tres vegades superior a la línia de base, o una freqüència d'abandonament de la conversa que acaba en compres fora del canal de l'agent, cinc vegades més gran que la mitjana. Aquests indicadors són invisibles en una traça única, però revelen problemes específics d'una categoria de producte que requereixen depuració. L'anàlisi contrastiva es converteix així en una eina imprescindible per identificar on realment falla el producte.
Un cop localitzat el problema, el següent repte és triar el jutge adequat per monitoritzar-lo de forma contínua. La recomanació dels especialistes és començar amb el model més potent disponible per demostrar que la tasca és resoluble, i després reduir progressivament. Si un model de primer nivell no pot detectar una fallada, cap de més petit ho farà. Un cop validat el patró, es pot mostrejar només una fracció del trànsit i delegar tasques simples, com classificacions binàries, a models oberts més petits. Fins i tot és possible afinar models propis combinant etiquetatge manual amb destil·lació, obtenint un rendiment similar al de models grans com Sonnet, però amb una reducció de costos d'entre 10 i 100 vegades. Aquest enfocament és especialment rellevant per a empreses que integren agents d'IA en els seus processos i necessiten equilibrar precisió i escalabilitat.
No tots els mecanismes de control requereixen un model de llenguatge. En molts sistemes d'agents, simples expressions regulars (regex) són suficients per implementar barreres de seguretat eficaces, detectant patrons problemàtics sense necessitat d'invocar un LLM. La simplicitat pot ser més efectiva que la complexitat, sempre que es dimensioni l'eina al problema concret.
El debat sobre si el LLM com a jutge elimina la necessitat de supervisió humana continua obert. En sectors com l'automoció, la salut o les finances, la responsabilitat legal i ètica exigeix que un humà signi les decisions crítiques. Fins i tot en sistemes altament automatitzats, la supervisió humana és fonamental per construir confiança, aprendre dels errors i garantir que el sistema evoluciona correctament. La interacció humà-màquina no és un mal necessari, sinó un component actiu de l'aprenentatge del sistema. Les empreses que comprenen això integren la revisió humana no com una xarxa de seguretat passiva, sinó com un motor de millora contínua.
Per implementar tot aquest ecosistema d'avaluació i monitorització, les empreses necessiten solucions de programari robustes i personalitzades. Aquí és on Q2BSTUDIO ofereix la seva experiència en desenvolupament d'aplicacions a mida. A més, les nostres solucions d'intel·ligència artificial estan dissenyades per construir i avaluar agents conversacionals amb mètodes contrastius. Construïm pipelines d'avaluació que integren l'anàlisi contrastiva, la monitorització en temps real i la retroalimentació humana, tot sobre infraestructura cloud AWS o Azure per garantir escalabilitat i disponibilitat. Les nostres capacitats en ciberseguretat asseguren que les dades de les converses i les avaluacions es gestionin amb els més alts estàndards de protecció, especialment en sectors regulats. I perquè els equips de producte puguin visualitzar els indicadors de contrast i prendre decisions basades en dades, incorporem dashboards de Business Intelligence amb Power BI que converteixen les dades d'avaluació en informació accionable.
A Q2BSTUDIO creiem que la veritable qualitat d'un agent d'IA no es mesura en una sola conversa, sinó en el seu comportament consistent a través de milers d'interaccions reals. Per això ajudem les empreses a dissenyar sistemes d'avaluació vius, que evolucionen amb el producte i capturen les fallades que realment importen. No es tracta de perseguir una conversa perfecta, sinó de construir un producte que funcioni al món real, amb mètriques que reflecteixin l'experiència completa de l'usuari.
