La similitud del cosinus és, sens dubte, una de les mètriques més utilitzades en sistemes de recuperació d'informació, recomanació, processament de llenguatge natural i visió per ordinador. La seva popularitat es deu al fet que elimina l'escala radial, és computacionalment eficient i s'alinea bé amb els objectius d'entrenament d'embeddings normalitzats. No obstant això, aquesta mateixa simplicitat amaga limitacions importants que poden degradar el rendiment en aplicacions reals. En aquest article explorem quan i per què falla la similitud del cosinus, i proposem alternatives pràctiques des d'una perspectiva tècnica i empresarial, amb especial atenció a com Q2BSTUDIO aborda aquests desafiaments en els seus desenvolupaments de programari a mida.
El problema fonamental és que la normalització que aplica la similitud del cosinus descarta tota la informació continguda en la magnitud dels vectors. En molts contextos, la norma de l'embedding codifica informació rellevant: per exemple, en sistemes de recomanació, un producte amb un vector de norma alta pot representar un ítem molt popular, mentre que un amb norma baixa podria ser un article de nínxol. En normalitzar, perdem aquest senyal de confiança o rellevància. Això no és un defecte teòric menor: en aplicacions empresarials d'intel·ligència artificial (IA), com la detecció de fraus o la segmentació de clients, la magnitud pot ser un indicador crític. Ignorar-la pot portar a falsos positius o a agrupar entitats que en realitat són molt diferents en intensitat.
Un altre límit ben documentat és la compressió del contrast angular en representacions anisotròpiques. Quan els embeddings estan concentrats en un con estret de l'espai —cosa comuna en models de llenguatge com BERT sense normalització— les diferències angulars es tornen molt petites. La similitud del cosinus perd capacitat discriminativa i tots els parells semblen igualment similars. Això és especialment problemàtic en tasques de cerca semàntica o clustering. A Q2BSTUDIO, en dissenyar sistemes de cerca per a clients amb grans volums de dades no estructurades, apliquem tècniques de postprocessament com la reducció de dimensionalitat o la reescala de vectors per recuperar el contrast perdut.
El fenomen dels hubs és una altra patologia coneguda. En espais d'alta dimensió, alguns punts es converteixen en veïns propers de molts altres, distorsionant qualsevol mètrica basada en distància o similitud. La similitud del cosinus no n'és immune: certs vectors es converteixen en 'hubs' que apareixen com a similars a una fracció desproporcionada del conjunt. Això afecta sistemes de recomanació on un producte pot ser recomanat a gairebé tots els usuaris, arruïnant la personalització. Per mitigar-ho, en els nostres projectes d'agents IA i sistemes de recomanació, implementem estratègies de hubness-aware com la normalització centrada o la transformació de similitud basada en rànquing local.
A més, la similitud del cosinus és una mètrica simètrica i no calibrada. En relacions asimètriques —per exemple, la rellevància d'un document per a una consulta o la pertinença d'un ítem a una categoria— usar una puntuació simètrica pot ser inadequat. Un document llarg pot contenir informació rellevant sobre un concepte curt, però el cosinus no captura aquesta direccionalitat. En entorns empresarials, on s'usen models de matching en catàlegs de productes o en chatbots, aquesta manca de calibració obliga a introduir llindars empírics o a entrenar puntuadors addicionals. Aquí, l'experiència de Q2BSTUDIO en cloud AWS/Azure permet escalar solucions d'aprenentatge que aprenen funcions de similitud asimètriques, personalitzades per a cada cas d'ús.
Davant d'aquests límits, hi ha diverses alternatives. La primera són les mètriques geometry-aware, com la similitud del cosinus després d'una transformació de Whitening o una normalització per components principals, que redistribueixen la variància i milloren el contrast. Una altra línia són les mètriques norm-aware, que incorporen la magnitud com a factor ponderat, com la similitud del cosinus amb biaix de norma o la distància de Mahalanobis. També hi ha les mètriques hubness-aware, que ajusten la similitud segons la densitat local o la freqüència de veïnatge. A Q2BSTUDIO, per a projectes de Business Intelligence (BI) i Power BI, sovint combinem aquestes tècniques amb models d'embedding entrenats específicament per al domini del client, usant aprenentatge supervisat per calibrar la puntuació final.
Finalment, en lloc de forçar una mètrica predefinida, cada cop més sistemes aprenen la pròpia funció de similitud. Des de xarxes siameses fins a arquitectures de doble codificador amb pèrdua contrastiva, el model pot optimitzar la similitud directament per a la tasca objectiu. Això requereix dades etiquetades i potència de càlcul, però ofereix resultats molt superiors. A Q2BSTUDIO integrem aquests enfocaments com a part dels nostres serveis de aplicacions a mida, assegurant que la mètrica s'alineï amb la decisió downstream, ja sigui classificació, recomanació o cerca.
En conclusió, la similitud del cosinus no és intrínsecament bona o dolenta; la seva utilitat depèn del context: de com es van entrenar les representacions, de la seva normalització, de la simetria de la relació i de la tasca final. A Q2BSTUDIO sabem que no existeix una mètrica universal. Per això, en desenvolupar solucions d'IA, ciberseguretat o automatització, primer analitzem les propietats de l'espai d'embeddings i triem o dissenyem la mètrica més adequada. Combinem cloud AWS/Azure per escalar, i tècniques avançades de BI per visualitzar i validar el comportament. El missatge central: entendre quan la similitud del cosinus falla és el primer pas per construir sistemes més robustos i precisos.
