Els agents basats en grans models de llenguatge (LLM) estan canviant la manera com les empreses automatitzen decisions. Aquests sistemes no es limiten a redactar respostes: poden invocar eines, modificar registres, enviar missatges i actualitzar bases de dades. Aquesta capacitat d'acció produeix eficiència, però també obre una zona de risc. Una operació pot executar-se correctament des del punt de vista tècnic i, alhora, incomplir una política interna o un requisit normatiu. L'incident queda ocult perquè l'agent informa que tot ha anat bé: és una violació silenciosa de la política de negoci.
En un entorn permissiu, una eina accepta qualsevol sol·licitud ben formada. El sistema no distingeix entre una crida vàlida i una de permesa per la política de negoci. Així, un agent pot fer una acció prohibida sense rebre cap error. L'eina executa, l'agent comunica èxit i l'organització només descobreix el problema quan l'impacte ja s'ha produït. Aquest tipus de fallada és especialment perillós en processos crítics, perquè no apareix en els registres habituals com una excepció o un error tècnic.
El problema s'agreuja quan es confia en l'autoavaluació del mateix agent. Un LLM pot explicar amb molta fluïdesa que l'acció s'ha completat, però no pot garantir que la transició d'estat sigui legítima. La legitimitat depèn del context de negoci: quin usuari ha sol·licitat l'acció, quins permisos té i en quina fase del procés es troba l'expedient. Cap resposta generada pel model no conté aquesta informació per si sola. Per això cal un mecanisme extern que compari la intenció amb l'estat actual i amb les regles aplicables.
Estudis recents han quantificat aquest fenomen en dominis complexos, com la gestió de reserves en una aerolínia simulada. En aquest entorn, una part elevada de les fallades observades no prové d'errors de format ni de respostes fora de context, sinó d'accions d'escriptura que vulneren una política i que el sistema deixa passar. La freqüència d'aquestes fallades és estable al llarg de diferents llavors d'execució, cosa que indica que no es tracta de variació aleatòria, sinó d'una propietat estructural del disseny actual dels agents.
Davant d'aquest panorama, una intervenció pràctica consisteix a col·locar comportes deterministes abans que l'eina faci l'escriptura. Aquestes comportes són mòduls de validació de només lectura que reben la crida proposada i l'estat actual, apliquen regles explícites i tornen una decisió: permetre o bloquejar. No depenen del raonament probabilístic del model, per la qual cosa són fiables fins i tot quan l'agent és insegur. La seva funció no és redactar millor la resposta, sinó impedir de manera sistemàtica una classe concreta d'accions no permeses.
Els resultats d'aplicar aquest enfocament són rellevants. En l'entorn aeronàutic esmentat, un conjunt reduït de comportes eleva la taxa d'èxit global del benchmark des d'un nivell proper al 30% fins a més del 40% amb un model de referència. La millora es repeteix en un segon conjunt d'execucions amb llavors diferents. A més, l'efecte es concentra en les tasques on les comportes arriben a actuar; en les tasques on no intervenen, el canvi és pràcticament nul. Això reforça la idea que la millora no prové d'un efecte secundari, sinó de la prevenció de fallades específiques.
També s'han fet proves de control en altres dominis. Quan l'eina ja imposa les seves pròpies regles de negoci abans d'executar, les comportes afegeixen poc valor. Això suggereix que el mecanisme és especialment útil allà on existeix una separació entre la sintaxi de la crida i la política de la transició. La conclusió no és que aquestes comportes resolguin tots els problemes dels agents, sinó que tanquen una bretxa concreta i mesurable.
En models més avançats, la temptativa d'escriptura contrària a la política encara s'observa, tot i que amb menys freqüència. Això indica que el problema no desapareix amb models més potents. L'escalabilitat de la intel·ligència artificial multiplica el nombre d'accions que un sistema pot executar, i amb això multiplica també la superfície de risc. Una organització no pot dependre que el model encerti sempre; necessita una capa de control que no es negociï.
Per a una empresa, la lectura d'aquesta troballa és clara: l'automatització amb agents d'IA ha d'incorporar governança en el punt exacte on es produeix l'acció. No n'hi ha prou amb registrar els esdeveniments després ni amb disposar d'un registre d'auditoria. La protecció s'ha d'activar abans que l'escriptura modifiqui l'estat. Això és especialment crític quan l'agent opera sobre sistemes de negoci com ara ERP, CRM o plataformes de pagament, on una transició indeguda pot generar pèrdues econòmiques, problemes legals o danys reputacionals.
A Q2BSTUDIO dissenyem aplicacions a mida que integren aquest tipus de validacions com a part del nucli de l'aplicació. El nostre enfocament no consisteix únicament a construir una interfície eficient o una API robusta, sinó a definir un model de permisos i regles de negoci que el sistema faci complir de manera consistent. Quan un agent intel·ligent necessita actuar sobre aquestes dades, troba una barrera determinista que bloqueja qualsevol operació contrària a la política.
També desenvolupem agents d'IA capaços de raonar sobre documents, bases de dades i fluxos de treball, sempre amb mecanismes de supervisió configurables. Aquesta supervisió pot estar implementada com a comportes de només lectura, regles de validació al backend o serveis d'autorització centralitzats. L'objectiu és que l'agent sigui autònom dins d'un perímetre definit i que qualsevol acció fora d'aquest perímetre quedi bloquejada abans de tenir efecte. Així, la IA aporta valor sense convertir-se en un factor de risc incontrolat.
La combinació amb infraestructures de núvol AWS/Azure permet desplegar aquestes solucions amb alta disponibilitat i escalar la validació en funció del volum de peticions. Al seu torn, les mètriques de bloquejos i accessos es poden integrar en quadres de comandament de BI/Power BI perquè l'equip directiu visualitzi en temps real quantes accions s'han intentat, quantes s'han rebutjat i per quina regla. La ciberseguretat esdevé així un exercici de traçabilitat: cada intent queda registrat, classificat i connectat amb una decisió empresarial.
El camí cap a una automatització responsable no consisteix a eliminar la capacitat d'acció dels sistemes, sinó a envoltar-la de controls explícits. Les comportes deterministes representen una intervenció senzilla, auditable i eficaç. No garanteixen que la tasca es completi, perquè la completesa depèn de molts factors. Però garanteixen, de manera verificable, que una classe concreta d'accions indegudes no es materialitzarà.
La conclusió pràctica és que les empreses han d'exigir als seus proveïdors tecnològics que incorporin controls al límit de l'acció. La intel·ligència artificial serà més fiable quan deixi de ser només una capacitat de generació i es converteixi en un sistema governat. En aquest context, l'experiència en desenvolupament de programari, integració de núvol i anàlisi de dades resulta fonamental. Les organitzacions que adoptin aquesta mentalitat des de l'inici podran aprofitar la IA amb més confiança, sabent que cada pas, cada crida i cada transició estan protegits per regles que no admeten interpretació.
