El desenvolupament de programari viu una paradoxa: com més autònoms es tornen els agents d'IA, més difícil resulta saber quan estan aprenent alguna cosa útil i quan estan reforçant un error. A Q2BSTUDIO, quan dissenyem solucions d'intel·ligència artificial per a entorns empresarials, la governança del coneixement de l'agent és tan important com el model subjacent. Un agent que no sap retirar una habilitat inútil acaba convertint-se en un sistema que repeteix errors amb total confiança. La solució clàssica és la retirada d'habilitats: observar el rendiment i eliminar allò que no supera la línia base. Però, què passa quan el jutge que avalua els errors està esbiaixat? Aleshores apareix la figura del curador cec.
Per entendre el problema, cal parlar del cicle de vida d'una habilitat en un agent. Cada habilitat és una peça de comportament que l'agent ha incorporat per resoldre una tasca concreta. Quan aquesta habilitat falla, l'agent hauria de marcar-la, revisar-la i, si l'error és persistent, retirar-la. Sense aquesta capacitat, la biblioteca d'habilitats creix sense control i el sistema acaba depenent de comportaments que només funcionen en contextos molt limitats o que directament produeixen resultats incorrectes. La retirada d'habilitats és el mecanisme que impedeix que un agent caigui per sota d'un nivell de rendiment bàsic, l'anomenat no-skill baseline, és a dir, la qualitat que tindríem si l'agent no utilitzés cap habilitat especial.
El problema apareix quan el procés d'avaluació depèn d'un jutge extern. En moltes aplicacions reals, no existeix una resposta correcta objectiva amb la qual comparar el resultat. Pensem en la generació d'informes, l'extracció de conclusions o la redacció de resums: no hi ha una única solució vàlida. Per a aquests casos s'utilitzen jutges basats en models de llenguatge, és a dir, un altre sistema d'IA que decideix si la sortida és bona o dolenta. Aquest jutge pot equivocar-se, i això no és nou. El que resulta més inquietant és que l'error del jutge no sempre és soroll simètric que es compensa amb més dades. De vegades és un biaix sistemàtic: el jutge tendeix a aprovar resultats que en realitat són errors. Aquest biaix de fals-aprovat és especialment perillós perquè no genera alarmes. L'agent creu que la seva habilitat funciona, l'equip de desenvolupament veu mètriques acceptables i ningú no s'adona que l'habilitat està acumulant errors silenciosos.
La diferència entre soroll simètric i biaix de fals-aprovat és crucial. Amb soroll simètric, algunes habilitats s'eliminen per accident i altres es conserven per atzar, però l'equilibri general es manté. Amb un jutge que aprova sistemàticament errors, la retirada d'habilitats es desactiva de manera silenciosa. El curador, aquest procés intern que decideix quines habilitats es queden i quines se'n van, deixa de rebre informació negativa fiable. Si tots els errors semblen èxits, no hi ha cap raó per retirar res. I el més greu és que aquest efecte té un llindar: per sota de certa taxa de falsos aprovats, el sistema encara pot funcionar; per sobre, la retirada col·lapsa. Ni tan sols alimentar l'agent amb més dades d'entrenament aconsegueix creuar aquest llindar, perquè el problema no és la quantitat d'informació, sinó la qualitat del senyal d'error.
Aquesta troballa té una conseqüència de seguretat conductual que moltes empreses passen per alt: el mecanisme falla abans que el resultat es vegi afectat. És a dir, pot ser que la qualitat de l'informe final continuï sent acceptable durant un temps perquè la generació d'habilitats encara no s'ha vist perjudicada. Però el curador és cec. La funció de governança està trencada. En termes pràctics, això significa que un equip pot estar avaluant una solució d'IA amb indicadors positius mentre el sistema perd la capacitat de corregir-se a si mateix. La degradació no apareix en l'agregat habitual de mètriques, i quan finalment es manifesta, l'equip ja ha perdut la traçabilitat de quines habilitats van fallar i per què.
Des del punt de vista empresarial, aquest escenari és especialment rellevant quan es construeixen aplicacions a mida amb components d'intel·ligència artificial. A Q2BSTUDIO hem vist que els clients no només demanen models que generin text o prenguin decisions; demanen sistemes que siguin segurs, auditables i capaços d'aprendre sense degradar-se. Un agent que no pot retirar habilitats és un risc operatiu, sobretot en sectors on un error silenciós pot provocar pèrdues econòmiques o danys de reputació. Per això treballem amb una visió integral: el model és només una peça del sistema, i l'avaluació d'aquest model necessita ser dissenyada amb el mateix rigor que el model mateix.
La solució no és abandonar els jutges basats en LLM, perquè en molts casos són l'única opció viable. El que sí que es pot fer és auditar el jutge abans de confiar-hi. Una tècnica senzilla i efectiva és la injecció de defectes: introduir errors coneguts en una mostra de tasques i comprovar si el jutge els detecta. Si el jutge aprova una proporció preocupant d'aquests errors, l'equip sap que és a l'altre costat del llindar i que la retirada d'habilitats no funcionarà. Aquesta auditoria s'hauria de fer abans del desplegament, i repetir-se periòdicament, perquè els jutges poden canviar amb el temps o degradar-se amb noves dades.
En aquest context, la tecnologia no es limita al model de llenguatge. Una infraestructura robusta d'observabilitat, amb eines de BI i Power BI, permet monitoritzar la taxa d'èxit de les habilitats i detectar patrons de fals-aprovat. El desplegament al cloud AWS o Azure facilita escalar les auditories i mantenir entorns de prova aïllats. I la ciberseguretat hi entra en joc perquè un jutge esbiaixat no només afecta l'aprenentatge de l'agent: també obre una porta a atacs de manipulació, on un adversari podria induir el model a generar errors que semblen encerts. Q2BSTUDIO aborda tots aquests fronts com a part d'una estratègia única de desenvolupament de programari, IA i seguretat.
La conclusió és que un jutge esbiaixat no afegeix soroll, desactiva la brúixola del sistema. La retirada d'habilitats és un mecanisme de seguretat, no només una optimització de rendiment. Quan el jutge deixa de detectar errors, l'agent perd la capacitat d'aprendre dels seus errors, i aquesta pèrdua pot passar desapercebuda durant molt de temps. Per a les empreses, la lliçó és clara: abans de construir un agent autònom, cal construir un sistema d'avaluació fiable. L'auditoria de biaix és tan important com l'elecció del model. I quan el jutge és un model de llenguatge, aquesta auditoria ha de ser una pràctica contínua, no un esdeveniment puntual. Només així s'evita tenir un curador cec que protegeix les males habilitats en lloc de retirar-les.
