L’explicabilitat s’ha convertit en un pilar fonamental per als sistemes basats en intel·ligència artificial, especialment en sectors on la presa de decisions automatitzada impacta directament en la seguretat, la regulació o la confiança de l’usuari. Tanmateix, integrar aquest atribut en el cicle de vida del desenvolupament de programari no és trivial. Un estudi recent realitzat a Daimler Truck —un dels fabricants de vehicles industrials més grans del món— ha posat de manifest les dificultats reals que afronten els equips d’enginyeria de requisits (RE) en intentar capturar, especificar i validar requisits d’explicabilitat. Tot i que el context és el de la conducció autònoma i els sistemes crítics de seguretat, les lliçons extretes són aplicables a qualsevol organització que desenvolupi solucions basades en IA i necessiti garantir que els seus models siguin comprensibles i auditables.
L’estudi, de caràcter qualitatiu i desenvolupat en diverses fases, va involucrar vuit professionals de Daimler Truck que treballen en la definició de requisits per a sistemes d’IA explicables. Els investigadors van utilitzar protocols de pensament en veu alta i discussions grupals moderades per observar com s’aplicaven les tècniques tradicionals de RE en les etapes d’elicitació, especificació i validació. Els resultats preliminars revelen problemes recurrents: ambigüitat conceptual durant l’elicitació (què significa exactament 'explicable' per a un operador de camió?), manca d’expressivitat i testabilitat en les especificacions (com es mesura una explicació adequada?), i una validació fragmentada a causa de criteris vagues i a la incertesa regulatòria. En essència, les pràctiques de RE estàndard —dissenyades per a requisits funcionals i de rendiment— no estan preparades per manejar la naturalesa subjectiva, contextual i dinàmica de l’explicabilitat.
Des d’una perspectiva tècnica-empresarial, aquestes barreres tenen conseqüències directes en la qualitat del producte final. Una especificació pobra d’explicabilitat pot traduir-se en models d’IA que, tot i ser precisos, siguin caixes negres impossibles d’auditar. Això no només compromet la confiança de l’usuari, sinó que també exposa l’empresa a riscos legals i de compliment normatiu —com el GDPR a Europa o la futura Llei d’IA—. Per a una companyia com Daimler Truck, que opera en un entorn on un error d’interpretació podria tenir conseqüències catastròfiques, l’explicabilitat no és un luxe, sinó una necessitat operativa.
Què poden aprendre altres organitzacions d’aquest cas? La lliçó més clara és que l’explicabilitat s’ha de tractar com un requisit de primer ordre des de l’inici del projecte, no com un afegit tardà. Això implica repensar les tècniques d’elicitació: en lloc de preguntar genèricament 'què necessita saber l’usuari?', convé realitzar anàlisis de tasques cognitives, mapar els processos de decisió i definir escenaris concrets on l’explicació sigui crítica. L’especificació, per la seva banda, ha d’incloure mètriques quantificables com la fidelitat de l’explicació, la completitud o l’estabilitat, tal com es fa amb altres atributs de qualitat del programari. I la validació requereix la participació de stakeholders reals —operadors, reguladors, auditors— en proves d’usabilitat i comprensió, no només tests automatitzats.
Per a una empresa de desenvolupament de programari com Q2BSTUDIO, aquestes lliçons es tradueixen en una oportunitat per dissenyar metodologies que integren l’explicabilitat de forma nativa en les nostres solucions. Per exemple, en desenvolupar aplicacions a mida que incorporen mòduls d’IA, treballem amb els clients per definir des de l’inici els requisits de transparència: quines decisions s’han d’explicar, a qui, amb quin nivell de detall i en quin format. Utilitzem eines d’IA explicable (XAI) que generen mapes de calor, contrafactuals o regles simbòliques, i les integrem en dashboards personalitzats. A més, donem suport a aquest procés amb plataformes cloud AWS/Azure que permeten escalar l’emmagatzematge d’explicacions i la monitorització de biaixos, i amb capes de ciberseguretat que protegeixen la integritat de les dades i dels models davant atacs adversarials que podrien manipular les explicacions.
Un altre aspecte rellevant és la intersecció entre explicabilitat i BI / Power BI. Els panells d’intel·ligència de negoci sovint presenten resultats agregats de models d’IA, però sense context sobre com s’ha arribat a aquestes conclusions. Incorporar elements explicatius —com gràfics d’importància de característiques o arbres de decisió interactius— dins de Power BI permet que els analistes confiïn en les dades i prenguin decisions informades. En aquest sentit, Q2BSTUDIO ha desenvolupat solucions que connecten models d’IA explicables amb fonts de dades al núvol i generen informes dinàmics que inclouen tant el resultat com la justificació. Això és especialment valuós en sectors regulats com la banca o la salut, on cada predicció ha de poder ser auditada.
Mirant cap al futur, l’estudi de Daimler Truck també assenyala la necessitat de frameworks de RE específics per a sistemes d’IA. La comunitat acadèmica i la indústria estan avançant cap a patrons de requisits d’explicabilitat, però la seva adopció pràctica continua sent limitada. Des de la perspectiva de Q2BSTUDIO, creiem que la clau està en combinar metodologies àgils amb tècniques de disseny centrat en l’usuari, realitzant iteracions ràpides on els stakeholders puguin experimentar amb prototips d’explicacions i refinar els requisits. Tot això recolzat per plataformes al núvol que faciliten la col·laboració i el versionat d’artefactes de RE.
Finalment, no podem oblidar el paper dels agents IA. A mesura que els sistemes autònoms —com els vehicles de Daimler— incorporen agents que prenen decisions en temps real, l’explicabilitat es torna encara més complexa. Un agent d’IA que negocia el trànsit o ajusta la velocitat necessita ser capaç de justificar les seves accions no només al supervisor humà, sinó també a altres agents i sistemes. Això requereix noves formes d’especificar i validar la comunicació explicativa entre agents, un camp emergent on les pràctiques de RE han d’evolucionar. A Q2BSTUDIO ja estem explorant arquitectures d’agents explicables basats en models de llenguatge i raonament simbòlic, integrats amb serveis al núvol per garantir el seu desplegament segur.
En conclusió, l’estudi de Daimler Truck ofereix una finestra privilegiada als desafiaments reals de l’enginyeria de requisits per a l’explicabilitat. Lluny de ser un problema teòric, es tracta d’una barrera pràctica que pot alentir l’adopció de la IA en entorns crítics. Les empreses que vulguin liderar en aquest espai han d’invertir en metodologies, eines i talent especialitzat. Q2BSTUDIO està compromesa a ajudar els seus clients a superar aquests desafiaments, oferint serveis de desenvolupament de programari a mida, intel·ligència artificial explicable, cloud computing i ciberseguretat, tot amb un enfocament pragmàtic i centrat en el valor de negoci. L’explicabilitat no és la destinació, sinó el camí cap a una IA més fiable i responsable.
