L'evolució dels agents d'intel·ligència artificial ha transformat la manera com les empreses planifiquen, executen i supervisen tasques. Aquests sistemes poden llegir correus electrònics, gestionar calendaris, operar repositoris de codi, actualitzar bases de dades i coordinar aplicacions empresarials. Tanmateix, quan un agent incorpora memòria a llarg termini, també hereta una nova superfície d'atac. L'atac GhostWriter, descrit en investigacions recents, demostra que un adversari pot enverinar la memòria d'un agent personal sense controlar el dispositiu ni la infraestructura subjacent.
Per entendre el problema, cal distingir entre memòria de treball i memòria persistent. La primera es basa en el context immediat de la conversa o de l'execució; la segona utilitza bases vectorials, bases de coneixement o magatzems d'embeddings als quals el model recorre quan necessita recuperar informació rellevant. Aquesta arquitectura permet reduir les finestres de context i personalitzar les respostes de l'assistent, però també introdueix un flux de dades no verificat. Qualsevol contingut que l'agent processa, resumeix i emmagatzema a la memòria pot esdevenir una instrucció futura, una dada aparentment legítima o la base per a una decisió crítica.
GhostWriter es divideix en dues fases ben diferenciades. En la fase d'injecció, l'atacant envia un payload ocult a l'agent mitjançant un correu, un document, una pàgina web o qualsevol contingut integrable. Quan l'agent processa i incorpora aquest contingut a la memòria, no distingeix de manera nativa entre informació factual i instruccions malicioses. En la fase d'activació, quan el sistema recupera un fragment de memòria relacionat amb una tasca legítima, el payload s'executa i modifica el comportament de l'agent. Els experiments realitzats sobre agents comercials avançats mostren taxes d'injecció properes al 98% i una activació mitjana d'aproximadament el 60%.
La causa arrel no és una fallada puntual d'un model concret, sinó l'absència d'una governança de memòria orientada a la seguretat. Els agents actuals solen tractar la memòria com un magatzem neutral, sense etiquetes de confiança, sense procedència de la informació i sense mecanismes de quarantena o validació. Una dada que prové d'una font no fiable pot escriure's al mateix espai que una dada interna validada. Com que la recuperació es basa en la similitud semàntica, el payload es dissenya per tenir una afinitat alta amb preguntes legítimes, cosa que augmenta de manera notable les probabilitats d'activació i en dificulta la detecció manual.
Aquest vector no és exactament un atac clàssic de prompt injection, on l'adversari intenta alterar la instrucció immediata del model. En GhostWriter, l'objectiu és contaminar la memòria persistent perquè la instrucció maliciosa romangui latent fins al moment més oportú. Aquesta diferència és clau per a les empreses, perquè el dany no depèn només d'un missatge manipulat, sinó de la confiança que l'agent diposita en els seus records. Un payload ben dissenyat pot sobreviure a converses posteriors, aparèixer en informes i condicionar accions futures.
L'impacte empresarial és rellevant. Un agent que gestiona correus, documents, accessos a aplicacions de negoci i serveis al núvol pot filtrar dades confidencials, emetre ordres de pagament falses, alterar codi font o modificar configuracions de seguretat. A més, els agents amb memòria a llarg termini solen integrar-se mitjançant API amb CRM, ERP i plataformes de Business Intelligence. Un atac amb èxit compromet no només l'agent, sinó també tota la cadena d'eines connectades. Les organitzacions han de revisar les seves polítiques de risc, plans de resposta a incidents i mecanismes d'auditoria per incloure aquest tipus d'amenaça.
Per mitigar aquesta amenaça, la investigació proposa Agentic Memory Sentry (AM-Sentry), un enfocament amb dos pilars. El primer és una política de desament de memòria: no tot el contingut s'ha de persistir. El sistema ha d'avaluar si la informació prové d'una font fiable, si és rellevant per a tasques autoritzades i si conté instruccions encobertes o metadades sospitoses. El segon pilar és una pantalla de recuperació de memòria: quan s'obté un fragment, s'analitza abans de passar-lo al model, detectant patrons de manipulació i separant fets d'ordres. Aquestes capes es poden aplicar sense degradar significativament la utilitat de l'agent.
Aquestes mesures encaixen amb una estratègia de seguretat més àmplia. Cal aplicar el principi de mínim privilegi, segmentar els accessos de l'agent i registrar cada operació d'escriptura i lectura de memòria. Les empreses també poden utilitzar solucions de monitoratge i protecció al perímetre, però la memòria persistent requereix controls específics. No n'hi ha prou amb protegir la xarxa o l'endpoint; cal protegir el coneixement emmagatzemat i la seva procedència. En aquest context, la ciberseguretat s'ha de concebre com un procés continu de validació, no com una barrera estàtica que s'instal·la un cop i s'oblida.
Des de l'experiència de Q2BSTUDIO, la construcció d'agents d'IA segurs requereix un enfocament multidisciplinari. En projectes de desenvolupament d'aplicacions a mida, incorporem capes de validació de dades, control d'accés i registre d'activitats des del disseny. També integrem serveis de núvol AWS/Azure amb arquitectures que aïllen els components de memòria i dificulten el moviment lateral. I quan les organitzacions necessiten explotar les seves dades, combinem IA amb Business Intelligence, per exemple amb Power BI, perquè els models generin valor sense sacrificar traçabilitat. Per a les empreses que busquen reforçar les seves defenses, oferim serveis de ciberseguretat i solucions d'intel·ligència artificial adaptades a cada arquitectura.
La seguretat no ha de frenar la innovació. Al contrari, una governança de memòria sòlida pot augmentar la confiança en els agents autònoms i permetre casos d'ús més ambiciosos. Les empreses que adoptin aquestes mesures estaran millor preparades per a la propera generació d'assistents intel·ligents. Al seu torn, els equips de seguretat han d'actualitzar els seus manuals i playbooks per incloure atacs als sistemes de memòria, no només atacs tradicionals a xarxes o endpoints. La formació dels desenvolupadors i dels analistes de seguretat també és crucial.
En conclusió, l'atac GhostWriter evidencia la necessitat d'un canvi de mentalitat. Els models de llenguatge no són meres generadores de text; són sistemes que prenen decisions i actuen. Si no protegim la seva memòria, qualsevol dada manipulada pot convertir-se en una ordre. La combinació de polítiques d'emmagatzematge conscients, filtres de recuperació i una arquitectura segura permetrà que els agents d'IA siguin realment útils sense convertir-se en un risc crític. Per aconseguir-ho, disposar d'un soci tecnològic que entengui tant el desenvolupament de programari com la ciberseguretat és un avantatge competitiu.
