La ciberseguretat tradicional s'ha centrat en identificar vulnerabilitats en infraestructures, programari i configuracions. Tanmateix, l'arribada de sistemes amb intel·ligència artificial ha transformat el panorama: l'adversari ja no necessita comprometre un servidor per alterar el comportament del sistema. Pot injectar missatges en un prompt, manipular dades d'entrenament o interferir en els bucles d'interacció humà–IA. Aquest canvi exigeix replantejar les proves de penetració, passant d'una avaluació centrada en recursos a un enfocament basat en objectius conductuals.
A Q2BSTUDIO, empresa especialitzada en aplicacions a mida i solucions d'intel·ligència artificial, entenem que la seguretat d'un sistema habilitat per IA no pot mesurar-se únicament amb tests de vulnerabilitats clàssics. Un assistent virtual en un centre d'operacions de seguretat (SOC) pot prendre decisions crítiques basant-se en dades de sensors, bases de coneixement o interaccions amb usuaris. Un atac indirecte d'injecció de prompt podria enganyar el model perquè classifiqui un incident fals com a real, provocant una resposta equivocada sense que s'hagi explotat cap vulnerabilitat de xarxa.
Aquest article proposa un marc per a la penetració conductual en sistemes d'IA, on l'èxit de l'adversari es mesura per la seva capacitat d'induir comportaments que violin els objectius operatius del sistema. Definim un sistema habilitat per IA com aquell en què models apresos influeixen materialment en les decisions que afecten resultats de negoci. I definim la penetració en IA com la inducció factible d'un comportament governat per IA que infringeixi un o més objectius operatius sota un model d'amenaça explícit.
El primer pas en aquest nou enfocament és identificar els objectius operatius del sistema. Per exemple, en un sistema de recomanació de ciberseguretat, l'objectiu podria ser 'no classificar mai un event benigne com a crític'. A continuació, es mapegen els comportaments governats per IA: quines decisions pren el model autònomament? Quines accions pot executar sense intervenció humana? Després s'analitzen les superfícies d'influència adversarial: vectors com la injecció directa de prompt, la injecció indirecta a través de contingut recuperat, l'enverinament de dades, la manipulació de sensors, l'ús malintencionat d'eines i la desalineació d'agents.
Un cop identificades aquestes superfícies, es defineixen criteris de fallada conductual. Per exemple: 'si un atacant aconsegueix que l'assistent del SOC generi una alerta de fals positiu per a un atac inexistent, es considera una violació de l'objectiu de precisió'. Després s'executen proves basades en escenaris, similars als exercicis de taula roja, però orientats a modificar entrades del model —prompts, context, dades— en lloc de llançar exploits binaris. Finalment, es reporta l'evidència que vincula l'acció adversarial amb la violació de l'objectiu, proporcionant mètriques tangibles de risc.
Un cas pràctic: imagineu un agent d'IA connectat a un sistema de tickets d'un SOC, amb capacitat per assignar prioritats automàticament. Un atacant podria enviar un ticket amb un text especialment dissenyat (injecció de prompt) que faci que l'agent el catalogui com a 'crític' i l'escali a un administrador, mentre que la resta del sistema de monitoratge no detecta cap anomalia. Aquest atac no requereix comprometre la xarxa; només necessita influir en el comportament del model. La prova de penetració conductual l'identificaria en verificar que l'agent no valida adequadament el contingut del prompt.
A Q2BSTUDIO integrem aquests conceptes als nostres serveis de ciberseguretat, combinant tests tradicionals amb avaluacions conductuals per a sistemes d'IA. A més, en desenvolupar agents d'IA i solucions al núvol AWS/Azure, apliquem principis de disseny segur que mitiguen aquestes amenaces des de l'arquitectura. El nostre equip de Business Intelligence utilitza Power BI per monitoritzar en temps real les desviacions de comportament dels models, detectant possibles desviacions adversarials abans que causin dany.
El futur de la ciberseguretat en IA rau a entendre que els sistemes intel·ligents no són només programari; són entitats que prenen decisions. La penetració conductual amplia l'abast de les proves de seguretat, protegint no només els recursos, sinó també els resultats que aquests recursos generen. Adoptar aquest marc és essencial per a qualsevol organització que desplegui aplicacions a mida amb components d'IA, ja que el risc no està al servidor, sinó en com el model interpreta el món.
Concloem que la transició de recursos a objectius conductuals no és un canvi menor: redefineix què significa 'comprometre' un sistema. Per a les empreses que confien en la IA per automatitzar processos crítics, aquesta nova perspectiva és la clau per a una ciberseguretat efectiva i adaptativa. A Q2BSTUDIO estem preparats per acompanyar els nostres clients en aquest viatge, oferint avaluacions de penetració conductual que protegeixen tant la infraestructura com la integritat de les decisions automatitzades.
