En l’ecosistema actual d’intel·ligència artificial, els grans models de llenguatge (LLM) han transcendit el seu paper original en processament del llenguatge natural per convertir-se en arquitectures fonamentals dins dels sistemes de recomanació moderns. Tanmateix, un dels reptes més persistents rau en com incorporar característiques numèriques contínues i representacions denses generades per codificadors previs —senyals essencials per capturar matisos del comportament de l’usuari— en un entorn que, per naturalesa, opera amb tokens textuals discrets. Aquest article explora una aproximació innovadora: la tokenització de característiques numèriques i embedding per a RecSys amb LLM, un enfocament que permet als models de llenguatge consumir dades heterogènies sense perdre granularitat ni eficiència computacional.
La indústria del programari a mida s’enfronta constantment al repte d’integrar fonts de dades diverses en sistemes de recomanació que han de ser precisos, escalables i adaptables a dominis específics. Quan un LLM s’utilitza com a backbone per a un recomanador, la informació purament textual (descripcions de productes, ressenyes) es processa de manera natural mitjançant tokens. Però les variables numèriques —com preus, valoracions, freqüències d’interacció— i els embeddings generats per models preentrenats (per exemple, representacions d’imatges o de seqüències de navegació) queden fora d’aquest canal natiu. Aquí sorgeix la necessitat d’un marc de fusió de soft tokens que mapegi aquests senyals no textuals a l’espai d’embeddings del LLM.
La proposta conceptual, inspirada en desenvolupaments recents com el marc de soft-token fusion, consisteix a convertir cada característica numèrica o embedding en un token virtual (soft token) que s’insereix a la seqüència d’entrada del model juntament amb els tokens de text. Aquest procés no és una simple concatenació: requereix un mòdul de fusió basat en interaccions que refini i contextualitzi cada soft token abans que el LLM el processi. D’aquesta manera, el model pot atendre relacions creuades entre, per exemple, el preu d’un producte i la ressenya textual que l’acompanya, o entre un embedding d’imatge i la descripció categòrica de l’article.
Per a una empresa com Q2BSTUDIO, especialitzada en el desenvolupament d’aplicacions a mida i solucions d’intel·ligència artificial, aquest enfocament obre possibilitats concretes. Imaginem un sistema de recomanació per a una plataforma de comerç electrònic que utilitza un LLM com a nucli. Sense la tokenització de característiques numèriques, el model ignoraria que un producte amb un preu lleugerament inferior i un embedding d’imatge que denota un estil minimalista té més probabilitats de ser seleccionat per un cert segment d’usuaris. En incorporar soft tokens, el LLM pot aprendre aquestes correlacions de manera implícita, millorant la precisió del ranking.
Des d’una perspectiva pràctica, la implementació d’aquest marc en un context empresarial requereix considerar la infraestructura computacional. Els LLM són intensius en recursos, i afegir tokens addicionals incrementa la longitud de la seqüència. No obstant, la fusió basada en interaccions —a diferència de la concatenació directa— permet que els soft tokens siguin comprimits o seleccionats mitjançant mecanismes d’atenció, minimitzant l’impacte en el rendiment. Aquí és on els serveis de cloud AWS/Azure ofereixen un avantatge: es poden desplegar instàncies amb GPUs eficients i escalar horitzontalment segons la càrrega d’inferència. A més, la ciberseguretat és crítica quan es manegen dades d’usuaris i embeddings que podrien contenir informació sensible. Q2BSTUDIO integra ciberseguretat en totes les seves arquitectures, garantint que els soft tokens no filtrin patrons personals.
Una altra dimensió important és l’analítica de negoci. Un sistema de recomanació no només ha de predir clics, sinó també proporcionar mètriques comprensibles per als equips de producte. La tokenització de característiques numèriques permet que el LLM emeti explicacions parcials basades en aquestes variables. Per exemple, un token de preu pot influir en la decisió final, i mitjançant tècniques d’interpretabilitat se’n pot rastrejar l’impacte. Això enllaça directament amb l’ús de BI / Power BI per visualitzar com les recomanacions es correlacionen amb preus o categories. La combinació de LLM i business intelligence crea un cicle de retroalimentació on les dades generades pel recomanador alimenten dashboards que orienten estratègies comercials.
A més, els agents IA estan transformant la forma en què s’interactua amb els sistemes de recomanació. En lloc de limitar-se a una llista passiva, un agent pot dialogar amb l’usuari, ajustant les recomanacions en temps real. Perquè un agent funcioni correctament, ha d’entendre tant el context textual com els senyals numèrics. La tokenització de característiques permet que l’agent raoni sobre el pressupost de l’usuari (un valor numèric) o sobre la similitud visual de productes (un embedding) sense necessitat de mòduls separats. Q2BSTUDIO ha desenvolupat prototips d’agents IA que integren aquest tipus de fusió, demostrant millores en la satisfacció de l’usuari i en la taxa de conversió.
Tornant al marc tècnic, els experiments en benchmarks com Amazon demostren que la fusió basada en interaccions supera la concatenació directa. Això s’explica perquè la interacció entre soft tokens permet que el model aprengui pesos dinàmics: un token d’embedding pot ser més rellevant en certs contextos que un altre, i el mòdul de fusió ajusta la seva representació en conseqüència. Per a una empresa que busca implementar aquesta tècnica, és recomanable començar amb un model LLM de mida mitjana (per exemple, 7B paràmetres) i un conjunt reduït de característiques numèriques, validant l’impacte en mètriques com recall@k o NDCG. Posteriorment, es pot escalar afegint més tipus d’embeddings (imatge, àudio, seqüència de navegació) i ajustant el mòdul de fusió amb capes d’atenció creuada.
L’automatització de processos també se’n beneficia. Un sistema de recomanació basat en LLM amb soft tokens pot integrar-se en pipelines de dades que s’actualitzen periòdicament. Per exemple, els embeddings de productes es regeneren després d’una campanya de màrqueting, i els soft tokens es recalcule sense necessitat de reentrenar tot el model. Això redueix costos operatius i accelera el time-to-market. Q2BSTUDIO ofereix serveis d’automatització que cobreixen des de l’orquestració de dades fins al desplegament continu del model, assegurant que la solució sigui mantenible a llarg termini.
En conclusió, la tokenització de característiques numèriques i embedding representa un avenç significatiu per als sistemes de recomanació basats en LLM, superant la barrera entre dades discretes i contínues. Empreses com Q2BSTUDIO estan en una posició privilegiada per adoptar aquest enfocament gràcies a la seva experiència en intel·ligència artificial, cloud computing i ciberseguretat. La clau està a dissenyar un mòdul de fusió que interactuï amb els soft tokens de manera dinàmica, aprofitant la potència dels LLM sense sacrificar la riquesa dels senyals no textuals. El resultat són recomanacions més precises, explicables i adaptables a les necessitats reals dels usuaris i del negoci.
