La intel·ligència artificial ha deixat de ser una promesa tecnològica per convertir-se en una peça operativa en sectors com la salut, la indústria o la seguretat. Tanmateix, un model de classificació d'imatges pot donar un resultat correcte per raons equivocades: en lloc d'atendre la regió rellevant, pot recolzar-se en textures, vores, marques o artefactes del dispositiu. En projectes a gran escala, aquesta opacitat és un problema greu, perquè revisar mapes de calor un a un no és viable. El marc conceptual ReMoDEx (Relevance Based Model Decision Explainability) aborda exactament aquesta necessitat: explicar les decisions d'un model sobre imatges a gran escala de manera automàtica i resumida.
ReMoDEx proposa una visió sistemàtica de l'explicabilitat. En lloc d'analitzar una predicció aïllada, agrupa els mapes de rellevància generats per diferents mètodes i els converteix en unes poques estratègies de decisió. Aquest enfocament permet detectar si un classificador està utilitzant patrons vàlids o dreceres apreses. Per a una empresa, aquesta informació és tan valuosa com la precisió: saber que un model de control de qualitat es fixa en el fons de la imatge i no en la peça inspeccionada pot evitar errors costosos.
A Q2BSTUDIO, empresa de desenvolupament de programari i tecnologia, apliquem aquest tipus de raonament en projectes d'IA i en el desenvolupament d'aplicacions a mida (custom software). L'explicabilitat no és un complement decoratiu, sinó un requisit funcional. Per això integrem l'anàlisi de rellevància des del disseny, no com a revisió final. Si voleu saber com treballem aquest tipus de solucions, podeu consultar la nostra pàgina de desenvolupament d'aplicacions a mida.
El procés general de ReMoDEx es pot descriure com un flux gradual. Primer s'executa la inferència del model sobre el conjunt d'imatges. Després se selecciona la classe objectiu, és a dir, aquella la decisió de la qual volem entendre. A continuació es generen mapes de rellevància que indiquen quins píxels o regions van contribuir més a aquesta predicció. Posteriorment es normalitzen aquests mapes perquè siguin comparables entre si. Amb els mapes ja estandarditzats, s'apliquen tècniques d'agrupació per similitud. Cada grup representa una estratègia de decisió recurrent. Finalment s'interpreta cada grup i s'avalua la rellevància espacial de les regions implicades.
Una de les claus d'aquest marc és la seva flexibilitat amb els mètodes d'explicabilitat local. Eines com GradCAM++, Integrated Gradients, Occlusion Sensitivity o Layerwise Relevance Propagation es poden combinar de manera independent amb el mòdul global. El mòdul global no substitueix aquests mètodes, sinó que els resumeix en patrons. D'aquesta manera, un equip tècnic pot comparar què explica cada mètode i detectar consensos o inconsistències entre ells. Aquesta capacitat és molt útil quan s'audita la decisió d'un model en milers d'imatges.
A més, ReMoDEx no assumeix que una única tècnica d'explicació sigui suficient. Cada mètode de rellevància té les seves pròpies hipòtesis i limitacions. En combinar-ne diversos i observar-ne la consistència, l'equip pot distingir entre patrons estables i artefactes d'un mètode concret. Aquest enfocament redueix el biaix de l'explicador i ofereix una visió més sòlida del comportament del model. A la pràctica, això permet prioritzar accions correctives: si tots els mètodes coincideixen que el model utilitza les cantonades de la imatge, el problema és del model; si només un ho assenyala, podria ser una peculiaritat del mètode.
El problema d'escala és especialment rellevant en entorns empresarials. Un lot d'imatges mèdiques pot contenir desenes de milers de casos. Una inspecció manual de mapes de calor seria lenta, subjectiva i propensa a errors. ReMoDEx substitueix aquesta inspecció per un resum automàtic: un panell amb les estratègies de decisió detectades, la seva freqüència i la seva relació amb el rendiment. Així es transforma l'explicabilitat en un procés de monitorització contínua.
Un exemple il·lustratiu es pot observar en un classificador entrenat per diagnosticar malalties respiratòries a partir de radiografies. Les mètriques clàssiques mostren un nivell d'encert alt. Tanmateix, en aplicar el mòdul global de ReMoDEx apareixen sistemàticament dues estratègies: una basada en la regió toràcica central, que és la zona clínicament rellevant, i una altra sensible a les vores i cantonades de la imatge. Aquesta segona estratègia suggereix la presència de dreceres, ja que el model aprofita marques o contorns que no haurien d'influir en el diagnòstic.
La validesa d'aquesta troballa es pot comprovar amb una prova d'emmascarament. Si s'amaguen les regions centrals o perifèriques de les imatges, la confiança del model i la classe predita canvien de manera significativa. Aquest comportament confirma que el classificador no sempre està analitzant la informació clínicament rellevant. Sense una eina com ReMoDEx, aquest risc hauria passat desapercebut per als indicadors d'exactitud.
Des d'una perspectiva empresarial, l'explicabilitat a escala té un impacte directe en la gestió del risc. En sectors regulats, com el sanitari o el financer, cal justificar les decisions automatitzades. Disposar d'un registre d'estratègies de decisió permet respondre a auditories, comitès ètics i responsables de compliment. A més, quan el model falla, és molt més ràpid identificar la causa arrel si sabem que està seguint un patró espacial concret.
Un altre aspecte important és la relació entre explicabilitat i ciberseguretat. Els models entrenats amb dreceres són més vulnerables a atacs adversaris. Un adversari pot manipular les regions perifèriques per induir un error sense alterar el contingut principal. ReMoDEx ajuda a detectar aquest tipus de comportament i a reforçar la robustesa del sistema. A Q2BSTUDIO també integrem serveis de ciberseguretat i pentesting per validar que els desplegaments d'IA no presentin vectors d'atac ocults.
La infraestructura tecnològica també juga un paper rellevant. Processar milers de mapes de rellevància requereix capacitat de còmput elàstica. Per això treballem amb cloud AWS/Azure per escalar l'anàlisi. Les organitzacions poden executar el pipeline de ReMoDEx periòdicament i emmagatzemar els resultats en un data lake per a la seva posterior visualització. Aquest enfocament connecta amb la intel·ligència de negoci: els indicadors d'explicabilitat es poden integrar en quadres de comandament de BI/Power BI. Així, un responsable de negoci pot entendre ràpidament si el model està canviant el seu comportament.
Una altra tendència és l'ús d'agents d'IA per automatitzar la supervisió. Un agent pot rebre els resums de ReMoDEx i decidir si un model necessita reentrenament, si una nova distribució de dades està alterant les estratègies de decisió o si una alerta de qualitat s'ha d'escalar a un humà. En aquest escenari, l'explicabilitat no és només una eina de diagnòstic, sinó un component operatiu dins d'un sistema de programari més ampli.
En definitiva, ReMoDEx representa un avenç metodològic important per explicar models de classificació d'imatges a gran escala. La seva capacitat de convertir milions de píxels en unes poques estratègies interpretables el converteix en un complement essencial de l'avaluació basada únicament en la precisió. Per a les empreses, adoptar aquest tipus de pràctiques significa construir una IA més fiable, transparent i alineada amb el negoci.
A Q2BSTUDIO estem convençuts que la tecnologia s'ha d'entendre abans de desplegar-se. Per això combinem el desenvolupament de programari a mida amb solucions d'intel·ligència artificial explicables, cloud i automatització. Si la vostra organització vol fer el salt cap a una IA responsable, us convidem a conèixer les nostres solucions d'intel·ligència artificial i a parlar amb nosaltres sobre com aplicar-les al vostre sector.
