La promesa dels sistemes d'agents d'IA és que no es limitin a executar tasques fixes, sinó que aprenguin, acumulin experiència i millorin amb el temps. Per aconseguir-ho, molts dissenys utilitzen una biblioteca d'habilitats: l'agent compon les seves respostes a partir de fragments de coneixement, rutines d'execució i heurístiques que han funcionat en el passat. Aquesta arquitectura és especialment atractiva en entorns empresarials, on cal automatitzar processos complexos i adaptar-se a dades canviants. Tanmateix, una biblioteca que creix sense control també acumula soroll. Les habilitats que ja no serveixen, que són contradictòries o que només funcionaven en una situació molt concreta, acaben degradant el rendiment global. Per això els sistemes autoevolutius necessiten un mecanisme de retirada, un curador capaç d'eliminar el que no aporta valor. A Q2BSTUDIO acostumem a comparar-ho amb una bona governança del codi: no n'hi ha prou d'afegir funcions; cal gosar esborrar. Però hi ha un matís crucial: si l'avaluador que decideix què es retira està esbiaixat, el curador es converteix en un curador cec.
Aquest curador automàtic funciona gràcies a un senyal d'avaluació. Quan una habilitat produeix un resultat correcte, es reforça; quan falla, es debilita fins a desaparèixer. La condició mínima perquè el sistema sigui viable és que la biblioteca d'habilitats no faci mai que l'agent funcioni pitjor que un agent sense cap habilitat. Aquesta línia de base no és negociable. En tasques amb una resposta objectiva, un executor de codi, una prova unitària o un verificador formal poden detectar el fracàs amb precisió. Però en tasques sense referència, com redactar un informe, resumir una conversa o avaluar la qualitat d'un text, no hi ha una resposta correcta externa. L'avaluació cau aleshores en mans d'un jutge de llenguatge, normalment un model de llenguatge gran entrenat per puntuar o comparar resultats. I aquí és on la cadena de confiança comença a trencar-se.
Un jutge de llenguatge no és un oracle. Pot tenir biaixos sistemàtics: preferir textos llargs, penalitzar estructures poc habituals, o ser massa indulgent amb errors factuals. L'estudi que dona origen a aquesta reflexió distingeix dos tipus de soroll. Un és el soroll simètric: el jutge de vegades encerta i de vegades s'equivoca, però no afavoreix sistemàticament els mals resultats. Aquest soroll, encara que incòmode, no destrueix el mecanisme de retirada. L'altre és el biaix de fals aprovat: un fracàs real que el jutge marca com a èxit. Aquest segon cas és molt més perillós, perquè el curador no veu el fracàs i, per tant, no retira l'habilitat defectuosa. El sistema pot quedar atrapat en una zona on totes les males habilitats reben llum verda i la biblioteca s'omple d'inutilitats sense que ningú intervingui.
El més rellevant és que hi ha un llindar molt marcat. Mentre el percentatge d'errors que reben aprovació es manté baix, el curador continua fent la seva feina. Però en superar cert punt, el mecanisme deixa de funcionar del tot. No és que empitjori gradualment: s'apaga. El que fa que aquest resultat sigui contraintuïtiu és que no es tracta d'un problema de quantitat de dades. Més dades d'entrenament, més exemples o més avaluacions no permeten creuar el llindar si el jutge continua aprovant fracassos. El biaix no es promitja; es converteix en una característica estructural del sistema. Per a una empresa que vol escalar solucions d'IA, aquesta idea és fonamental: una mètrica agregada de qualitat pot continuar estable mentre el mecanisme intern de seguretat ja s'ha desactivat.
La investigació també mostra que el problema del mecanisme és universal. Apareix en dominis diferents, amb taxes de fracàs diferents i amb tipus d'agents diferents. Només l'eviten els avaluadors amb una taxa de falsos aprovats gairebé nul·la, cosa que a la pràctica només s'aconsegueix amb verificadors externs o amb sistemes de comprovació molt estrictes. És a dir, el fracàs no depèn de la tasca, sinó de la relació entre l'avaluador i la realitat que avalua. Un jutge que no pot distingir un fracàs d'un encert no és només un avaluador sorollós: és un interruptor que desconnecta la supervisió. La conseqüència immediata és que el curador es torna cec. Continua present, continua processant habilitats, però ja no distingeix entre les bones i les dolentes.
Imaginem una fàbrica on un supervisor de qualitat no rebutja mai una peça defectuosa perquè el seu sistema de mesura està mal calibrat. La línia de producció no s'atura; els informes de producció continuen mostrant un ritme acceptable; però les peces defectuoses s'acumulen a l'inventari. Arriba un moment en què el magatzem és ple de producte inservible i ningú recorda quan va començar el problema. Una cosa semblant passa amb les biblioteques d'habilitats. Si el jutge aprova fracassos, les males habilitats no es retiren, s'acumulen, i el sistema perd la seva salvaguarda estructural. El més perillós és que els indicadors externs no sempre reflecteixen el dany: la qualitat general pot mantenir-se perquè la síntesi de noves habilitats continua funcionant, emmascarant el fet que la poda s'ha aturat.
En el món empresarial, aquesta distinció entre mecanisme i resultat és clau. Les organitzacions acostumen a mesurar el rendiment d'un agent per la qualitat de les seves entregues, no per la salut interna de la seva biblioteca d'habilitats. Si un sistema comença a generar informes que semblen correctes però contenen errors no detectats, el primer senyal d'alarma no apareixerà en la precisió mitjana, sinó en la desaparició silenciosa de la capacitat de corregir. Per això, quan a Q2BSTUDIO dissenyem solucions d'IA per a clients, insistim que la governança del model sigui part de l'arquitectura des del primer dia, no una capa afegida al final. Un agent autònom sense un curador fiable és un risc operatiu, per molt bones que semblin les seves mètriques.
La nostra experiència com a empresa de desenvolupament de programari ens ha mostrat que l'avaluació dels models de llenguatge s'ha de tractar amb el mateix rigor que una auditoria de ciberseguretat. No n'hi ha prou de confiar en el criteri del model; cal auditar el jutge. La proposta d'injectar defectes coneguts en el flux d'avaluació és una manera pràctica de fer-ho: es prenen habilitats que sabem que fallen, s'introdueixen en el sistema i es comprova si el jutge les detecta. Si el jutge les aprova, sabem que és al costat equivocat del llindar i que la retirada d'habilitats està desactivada. Aquesta prova és barata, es pot executar abans del desplegament i proporciona informació molt valuosa sobre els límits del sistema. És una pràctica que connecta directament amb la ciberseguretat: atacar el sistema amb casos defectuosos per conèixer els seus punts cecs abans que ho faci un problema real.
Les implicacions per al desenvolupament d'aplicacions a mida són profundes. Quan una companyia encarrega una plataforma d'agents d'IA, no està comprant un model, està comprant un sistema de comportament. Aquest sistema necessita polítiques de retirada, observabilitat i mecanismes de correcció. A Q2BSTUDIO treballem amb arquitectures al núvol AWS/Azure, amb pipelines de dades i amb quadres de comandament de BI/Power BI, perquè tots aquests elements formen part de la infraestructura que permet vigilar el comportament d'un agent. No es tracta d'afegir més intel·ligència, sinó de saber quan una capacitat s'ha de retirar. Un quadre de comandament que mostri la taxa d'aprovació del jutge i la taxa de retirada d'habilitats pot alertar a temps que el curador s'ha desconnectat, encara que les mètriques de qualitat encara no s'hagin mogut.
La conclusió pràctica és que els operadors de sistemes autoevolutius no poden esperar que el rendiment empitjori per detectar un jutge esbiaixat. En el moment en què una avaluació sense referència depèn d'un model de llenguatge, la pregunta correcta no és 'quant encerta', sinó 'què passa quan s'equivoca'. Si els errors s'aproven de manera sistemàtica, el sistema no tindrà manera de jubilar les seves males habilitats. I encara que les mètriques de resultat es mantinguin, la capacitat d'autovaluació estarà trencada. L'auditoria d'injecció de defectes ofereix una manera ràpida de conèixer el terreny abans de trepitjar-lo. En un moment en què els agents d'IA comencen a assumir tasques crítiques, aquesta distinció entre soroll i biaix, i entre mecanisme i resultat, hauria de formar part del llenguatge comú de qualsevol equip d'enginyeria.
En definitiva, el curador cec és un recordatori que l'autonomia no elimina la necessitat de supervisió; la multiplica. Un agent capaç d'aprendre també ha de ser capaç d'oblidar. I perquè l'oblit sigui útil, alguna cosa ha de veure el fracàs. Si aquesta cosa és un jutge esbiaixat que aprova tot, el sistema perd la seva capacitat de renovació sense fer soroll. La bona notícia és que hi ha mètodes pràctics per detectar el problema abans que causi danys. La mala notícia és que la majoria d'empreses encara no els aplica. Construir agents d'IA responsables exigeix mirar on ningú mira: no només a la qualitat de les respostes, sinó a la salut del mecanisme que decideix quines habilitats mereixen seguir vives. A Q2BSTUDIO ajudem les organitzacions a fer aquesta mirada amb rigor tècnic, combinant desenvolupament de programari, intel·ligència artificial, ciberseguretat i dades perquè l'evolució autònoma no es converteixi en un accident silenciós.
