La integració d'agents de codificació basats en grans models de llenguatge (LLM) en entorns de línia d'ordres (CLI) ha revolucionat l'automatització de tasques d'enginyeria de programari. No obstant això, el seu desplegament en producció ha revelat una veritat incòmoda: aquests agents fallen sovint, i entendre com fallen és tan crucial com mesurar la seva taxa d'èxit. Fins ara, els estudis empírics s'han centrat en el fracàs com a esdeveniment final, classificant errors sense explorar la dinàmica temporal que els precedeix. Una anàlisi recent a gran escala de trajectòries de fallada d'agents CLI proposa un canvi de paradigma: tractar el fracàs com un procés, no com un resultat. Aquest enfocament, basat en més de 1.700 trajectòries anotades manualment amb més de 63.000 passos, revela que els agents de codificació fallen principalment per errors epistèmics —és a dir, mancances de coneixement— que solen manifestar-se en els primers passos d'execució i romanen ocults fins que la recuperació és impossible.
La noció de 'trajectòria de fallada' s'estructura en tres fases: inici, evolució i recuperació. L'inici marca la primera desviació del comportament esperat; l'evolució descriu com aquesta desviació es propaga i s'intensifica; i la recuperació inclou els intents de l'agent per corregir el rumb. Les troballes indiquen que la majoria de fallades s'originen en els primers tres a cinc passos d'interacció amb el terminal, però els seus efectes no es fan visibles fins molt després, quan l'estat del sistema ja està compromès. Això suggereix que els sistemes d'avaluació tradicionals, que només miren el resultat final, passen per alt la gènesi del problema, impedint intervencions primerenques.
Des d'una perspectiva empresarial, aquesta comprensió profunda de les trajectòries de fallada té implicacions directes en el disseny de solucions d'IA robustes. Si els agents de codificació han d'assumir tasques crítiques —com desplegaments en cloud AWS/Azure, anàlisi amb BI/Power BI o processos de ciberseguretat— és indispensable implementar mecanismes de validació contínua a cada pas, no només al final. Aquí és on empreses com Q2BSTUDIO aporten valor, integrant agents d'IA amb sistemes de monitorització proactiva que detecten desviacions primerenques i permeten correccions automàtiques abans que la fallada es torni irreversible. La combinació d'aplicacions a mida amb plataformes d'orquestració d'agents ofereix una capa de resiliència que els entorns estàndard no proporcionen.
L'estudi també destaca que la consistència entre diferents scaffolds —com OpenHands, MiniSWE i Terminus2— és baixa: un mateix model pot fallar de maneres completament diferents segons la infraestructura d'agent que l'allotja. Això subratlla la necessitat de personalitzar tant el model com l'entorn. Per a una empresa que desenvolupa programari, entendre aquestes dependències significa poder oferir serveis d'automatització que no només executin codi, sinó que aprenguin dels seus errors i ajustin el seu comportament en temps real. L'enginyeria de fallades es converteix, així, en una disciplina central en el desenvolupament de sistemes intel·ligents.
Una altra troballa rellevant és que els errors epistèmics predominen sobre els errors de procediment. És a dir, els agents no fallen perquè executin malament una instrucció, sinó perquè no tenen el coneixement contextual necessari per prendre la decisió correcta. Això apunta a la importància d'enriquir els models amb bases de coneixement actualitzades, cosa que Q2BSTUDIO aborda en els seus projectes d'integració d'IA, connectant agents amb fonts de dades corporatives i APIs de tercers per reduir la incertesa. En entorns de cloud AWS/Azure, per exemple, un agent que no conegui la topologia exacta de la infraestructura pot cometre errors catastròfics; integrar un model de coneixement dinàmic és clau.
Des del punt de vista de la ciberseguretat, les trajectòries de fallada ocultes representen un vector d'atac potencial. Un agent que es desvia silenciosament del seu comportament esperat podria estar sent manipulat sense que l'equip de seguretat ho detecti fins que sigui massa tard. Per això, incorporar capacitats de registre granular i auditoria a cada pas —com les que ofereixen les plataformes de BI/Power BI— permet traçar l'evolució de la fallada i activar alertes primerenques. La supervisió humana continua sent necessària, però recolzada per eines que visualitzin la trajectòria completa.
Finalment, l'estudi suggereix que millorar la fiabilitat dels agents de codificació requereix canviar el focus de l'avaluació final a la validació contínua. En lloc de preguntar 'l'agent va completar la tasca?', hauríem de preguntar 'en quin moment va començar a desviar-se i per què?'. Aquesta filosofia encaixa perfectament amb l'enfocament de Q2BSTUDIO en el desenvolupament de programari de qualitat, on cada iteració es revisa en temps real. La construcció d'agents CLI fiables no és només un repte tècnic, sinó un exercici de disseny de processos que anticipin, detectin i corregeixin el fracàs abans que es consolidi. El futur de l'automatització intel·ligent passa per entendre el fracàs no com un punt final, sinó com una trajectòria que podem i hem de governar.
