En els últims anys, l'avaluació de sistemes basats en intel·ligència artificial s'ha convertit en un pilar de la presa de decisions empresarials. Equips de producte, investigadors i directors de tecnologia es recolzen en dashboards que mostren taxes d'encert, puntuacions mitjanes o percentatges d'aprovats per decidir si un nou model, un prompt ajustat o una actualització d'un agent IA és millor que la versió anterior. Tanmateix, hi ha un error metodològic molt estès que pot convertir aquests números en una trampa: comparar dues mitjanes com si fossin mostres independents quan en realitat provenen del mateix conjunt d' ítems de prova. El que sembla una millora sòlida pot ser soroll, i el que sembla un empat pot amagar una regressió silenciosa en un subconjunt concret de dades.
Imaginem l'escenari típic: tenim 500 preguntes o casos de prova. Executem el sistema A i obtenim un 71,4 % d'encerts. Executem el sistema B i obtenim un 74,0 %. La conclusió immediata és que B és millor. Tanmateix, aquest raonament ignora el fet crucial que ambdós sistemes van respondre exactament a les mateixes preguntes. Les respostes no són independents; estan correlacionades perquè la dificultat de cada ítem és compartida. Una pregunta complexa, ambigua o amb context extens farà fallar a tots dos sistemes amb freqüència. Aquesta correlació positiva redueix la variància de la diferència entre els dos sistemes, i si no es té en compte, se sobrestima la incertesa o, pitjor encara, es malinterpreten intervals de confiança superposats com a senyal que no hi ha diferència significativa.
Aquest problema no és nou en el camp de l'estadística, però sorprèn veure'l repetit en informes d'avaluació d'IA, fins i tot en empreses amb equips de dades madures. L'origen està a tractar dues execucions sobre el mateix conjunt de proves com si fossin dos experiments amb mostres diferents. La solució és tan elegant com simple: aparellar els resultats per ítem i analitzar directament les diferències. Per a avaluacions binàries (aprova/no aprova), el test adequat és el de McNemar, que es concentra únicament en els ítems on els sistemes discrepen. Si el sistema A encerta i B falla en 40 casos, i B encerta i A falla en 53, la pregunta estadística és si aquesta divisió 40-53 és compatible amb una moneda equilibrada. Un test binomial exacte revelarà si la diferència observada és creïble o simplement fruit de l'atzar. En moltes ocasions, aquesta bretxa de 2,6 punts percentuals resulta no ser significativa.
Per a avaluacions amb puntuacions contínues (una nota de 0 a 1, una valoració a escala Likert, un temps de resposta), l'enfocament recomanat és el bootstrap emparellat. Es calcula la diferència de cada ítem (B menys A), i després es remostregen aquestes diferències amb reemplaçament per obtenir intervals de confiança sobre la mitjana de la diferència. Aquest mètode no assumeix normalitat i respecta l' estructura de dependència entre els dos mesuraments. L'important és remoure els parells, no les columnes per separat, perquè altrament es trenca l'emparellament i es torna a l'error d'independència.
Més enllà del procediment tècnic, hi ha una implicació cultural en els equips de producte: la temptació de prendre decisions mirant dos números un al costat de l'altre és enorme. Els dashboards hi conviden. Però quan s'està avaluant un canvi que pot afectar l'experiència de milers d'usuaris, o quan es decideix si desplegar un nou agent IA en producció, la precisió estadística no és un luxe acadèmic. És una necessitat per evitar falsos positius que portin a invertir en canvis que no aporten valor, o falsos negatius que impedeixin detectar millores reals.
Un cas concret que il·lustra aquest risc el visc en revisar una regressió en un projecte de programari a mida per a un client del sector logístic. S'havia modificat el prompt d'un assistent conversacional per respondre consultes sobre enviaments. El nou prompt mostrava un 68,9 % d'encerts enfront del 69,7 % de l'anterior. En veure que els intervals de confiança se solapaven, l'equip va descartar la diferència com a soroll i va seguir endavant amb el canvi. Setmanes després, els usuaris reportaven respostes incorrectes en un subconjunt concret de consultes sobre rutes internacionals. En reanalitzar les dades amb un test emparellat, es va descobrir que la diferència no només era significativa, sinó que l'interval de confiança del delta estava completament per sota de zero. El nou prompt era sistemàticament pitjor en aquest segment, però la mitjana global ho ocultava. Si des del principi s' hagués aplicat una anàlisi emparellada, s' hauria detectat la regressió abans d' arribar a producció.
El problema s'agreuja quan es comparen múltiples mètriques alhora. En les avaluacions modernes de ia per a empreses no només es mesura la taxa d'encert, sinó també la fidelitat, la seguretat, la latència, el compliment de format, i diversos criteris de rúbrica. Cada mètrica rep el seu propi test, i si no es corregeix per comparacions múltiples, la probabilitat de trobar almenys un fals positiu creix de forma dramàtica. Amb dotze mètriques i un llindar alfa de 0,05, la probabilitat de tenir un fals positiu és aproximadament del 46 %. Per això és recomanable aplicar procediments com el de Benjamini-Hochberg per controlar la taxa de falsos descobriments, reservant correccions més estrictes per a les mètriques que actuen com a portes de llançament.
En Q2BSTUDIO, quan desenvolupem aplicacions a mida amb components d'intel·ligència artificial, incorporem aquestes bones pràctiques des de la fase d'avaluació. Sabem que un client que confia en un dashboard mal construït pot prendre decisions errònies que afectin la seva operativa. Per això, en els nostres projectes de serveis cloud aws i azure, on despleguem models i agents IA, assegurem que els pipelins d'avaluació incloguin tests emparellats i correcció per comparacions múltiples. També apliquem aquest rigor en projectes de serveis intel·ligència de negoci amb power bi, on la comparació d'indicadors abans i després d'un canvi s'ha de fer amb metodologies estadístiques sòlides.
La ciberseguretat tampoc escapa a aquesta problemàtica. En avaluar l' efectivitat d' un sistema de detecció d' intrusions entrenat amb aprenentatge automàtic, es comparen taxes d' encert sobre el mateix conjunt de trànsit de prova. Si no s'emparellen els resultats, es corre el risc de seleccionar un model que no millora realment la detecció, o de descartar-ne un que sí que ho fa. En aquest àmbit, un error estadístic es pot traduir en vulnerabilitats no detectades.
L'article original que va inspirar aquesta reflexió (usat únicament com a referència conceptual) exposa amb claredat que la clau està a tractar les dades com a aparellats quan comparteixen ítems. Aconsella reportar la mida de l' efecte i un interval de confiança sobre la diferència, no dues mitjanes independents. I recorda que fins i tot el bootstrap emparellat té limitacions quan els ítems no són independents entre si (per exemple, diverses preguntes extretes del mateix document). En aquests casos, la solució és remoure a nivell de grup o usar models mixtos, tot i que la pràctica encara no està estandarditzada.
En la meva experiència treballant amb equips que desenvolupen agents IA per a atenció al client o automatització de processos, la recomanació pràctica és clara: emmagatzemar sempre els resultats a nivell d'ítem per a cada execució. No n'hi ha prou amb guardar la mitjana. La parella (resultat d'A, resultat de B) per a cada cas és la matèria primera de l'anàlisi correcta. I quan això no és possible, cal ser honest sobre la limitació i considerar qualsevol decisió basada en mitjanes no semblants com a incerta.
Si vols aprofundir en com aplicar aquestes tècniques en els teus propis sistemes d'avaluació, et recomano explorar com en Q2BSTUDIO integrem aquestes metodologies en solucions d'intel·ligència artificial per a empreses, on el rigor en el mesurament és tan important com la potència del model. També cobrim aspectes de desenvolupament d' aplicacions a mesura que requereixen avaluacions fiables per prendre decisions de desplegament amb confiança.
En definitiva, comparar avaluacions per la seva taxa mitjana d'encert assumint independència és un error que pot costar car. La bona notícia és que la solució existeix, és ben coneguda i no és complexa d'implementar. Només requereix un canvi de mentalitat: deixar de mirar dos números solts i començar a analitzar la diferència dins de cada parell. El salt de qualitat en la presa de decisions ho mereix.
.jpg)
.jpg)