TellTale: Reconeixement d'ambivalència/hesitació en vídeos amb text i LLM

Descobreix TellTale, un mètode basat només en transcripcions que combina LoRA i un LLM zero-shot per detectar ambivalència en vídeos d'entrevistes. Obté un

sábado, 25 de julio de 2026 • 5 min de lectura • Equip Q2BSTUDIO

Enfoque solo texto para detectar indecisión en entrevistas

En un món on la comunicació digital i les videoconferències s'han convertit en l'estàndard per a entrevistes laborals, avaluacions psicològiques i atenció al client, la capacitat de detectar senyals subtils d'ambivalència o hesitació resulta crucial. Aquests indicis —des de pauses incòmodes fins a canvis en el to o repetició de paraules— poden revelar inseguretat, falta de compromís o fins i tot riscos potencials. Fins ara, la majoria d'enfocaments es basaven en anàlisis multimodals que combinaven vídeo, àudio i text, requerint costosa infraestructura i etiquetatge manual. No obstant això, un nou paradigma està emergint: utilitzar únicament el text de les transcripcions, potenciat per models de llenguatge de gran escala (LLM) i tècniques d'aprenentatge eficient, per aconseguir resultats sorprenents.

Recentment, un sistema anomenat TellTale va demostrar que és possible reconèixer ambivalència i hesitació en vídeos d'entrevistes emprant exclusivament el text de les transcripcions. Aquest enfocament, presentat en el marc del 3rd A/H Video Recognition Challenge (11th ABAW Workshop, ECCV 2026), combina tres fluxos de probabilitat: dos models de llenguatge multilingües fine-tunejats amb adaptadors LoRA sota un objectiu d'aprenentatge d'instàncies múltiples (MIL), i un tercer flux que utilitza un LLM de 14B paràmetres quantitzat en mode zero-shot. La combinació ponderada d'aquests tres senyals, juntament amb un llindar de decisió optimitzat mitjançant validació creuada, aconsegueix un Macro-F1 de 0.7364 i una precisió mitjana de 0.7940 en un conjunt de prova privat de 152 vídeos. Aquests resultats superen àmpliament la línia base oficial basada en visió, que amb prou feines va arribar a un Macro-F1 de 0.2827.

La rellevància de TellTale va més enllà del concurs acadèmic. Per a les empreses, poder detectar ambivalència en entrevistes, reunions amb clients o sessions de feedback pot transformar processos de selecció de personal, atenció al client i avaluacions d'equip. Imagineu un sistema que, integrat en una plataforma de videotrucades, generi alertes en temps real quan un candidat mostra dubtes sobre una oferta o quan un client expressa insatisfacció oculta. Això permet als responsables intervenir de manera proactiva, millorant la taxa de tancament i reduint la rotació.

Ara bé, implementar una solució d'aquest tipus en un entorn corporatiu real requereix molt més que un model d'IA. Es necessita una arquitectura de programari robusta, capaç de processar grans volums de transcripcions de forma segura, escalable i amb baixa latència. Aquí és on entra en joc el desenvolupament d'aplicacions a mida personalitzades per a cada negoci. Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, ofereix les capacitats necessàries per construir des de zero plataformes que integrin models de llenguatge, sistemes d'emmagatzematge al núvol i panells de visualització de dades.

Un component fonamental és la infraestructura cloud. Tant AWS com Azure proporcionen serveis de còmput elàstic, bases de dades administrades i APIs d'IA que permeten desplegar models com els utilitzats a TellTale de manera eficient. La migració i gestió d'entorns cloud AWS/Azure és una de les especialitats de Q2BSTUDIO, garantint alta disponibilitat, seguretat i compliment normatiu. A més, la ciberseguretat és un pilar innegociable: al manejar dades sensibles com transcripcions d'entrevistes o avaluacions de clients, és imprescindible implementar xifrat, control d'accessos i auditories contínues. Q2BSTUDIO ofereix serveis de ciberseguretat i pentesting per protegir aquestes solucions davant vulnerabilitats.

Un altre aspecte clau és la capacitat d'extreure valor de les dades generades. Un sistema de reconeixement d'ambivalència, per si sol, produeix puntuacions; però perquè una empresa prengui decisions informades necessita visualitzacions i informes integrats. Aquí entren les eines de Business Intelligence com Power BI. Q2BSTUDIO ajuda a dissenyar solucions de BI/Power BI que consolidin els resultats de l'anàlisi d'IA amb altres mètriques de negoci, oferint dashboards interactius que mostrin tendències, alertes i correlacions. Per exemple, un responsable de RR.HH. podria veure un gràfic que relacioni els nivells d'hesitació amb la probabilitat d'acceptació d'una oferta.

La intel·ligència artificial no s'atura en els models de llenguatge. Els agents IA poden actuar com a assistents virtuals que, basant-se en la detecció d'ambivalència, suggereixin preguntes de seguiment o adaptin el discurs en temps real. Q2BSTUDIO desenvolupa agents intel·ligents personalitzats que s'integren en plataformes conversacionals, automatitzant respostes i millorant l'experiència de l'usuari.

L'enfocament de TellTale il·lustra una tendència més àmplia: la simplificació de la IA aplicada. Al treballar només amb text, es redueixen els requisits de maquinari i es facilita el desplegament en entorns amb recursos limitats. Això democratitza l'accés a tècniques avançades d'anàlisi de sentiments i comportament. Per a una empresa mitjana que vol millorar els seus processos de selecció sense invertir en costosos equips d'anàlisi de vídeo, una solució basada en transcripcions i LLM és ideal.

Des de la perspectiva tècnica, la combinació de fine-tuning amb LoRA i zero-shot amb LLMs quantitzats permet un equilibri entre precisió i eficiència. Els adaptadors LoRA requereixen pocs paràmetres, cosa que accelera l'entrenament i redueix el consum de memòria. D'altra banda, el LLM zero-shot no necessita dades etiquetades addicionals, cosa que agilitza la posada en marxa. Aquesta sinergia és replicable en altres dominis, com la detecció de fraus en trucades d'atenció al client o l'anàlisi de satisfacció en enquestes obertes.

Q2BSTUDIO, amb la seva experiència en desenvolupament de programari, cloud, ciberseguretat, BI i agents IA, està en una posició privilegiada per ajudar les empreses a adoptar aquest tipus d'innovacions. Des de la conceptualització fins a la implementació i el suport continu, ofereixen solucions integrals que transformen la intel·ligència artificial en valor tangible. Si la seva empresa necessita detectar ambivalència en entrevistes, optimitzar l'atenció al client o simplement explorar les possibilitats dels LLM, comptar amb un partner tecnològic com Q2BSTUDIO marca la diferència.

En conclusió, el reconeixement d'ambivalència i hesitació basat únicament en text, com demostra TellTale, representa un avanç significatiu en l'anàlisi de comportament humà. El seu èxit rau en la combinació intel·ligent de models fine-tunejats i LLMs zero-shot, tot sobre una base de transcripcions simples. Per a les empreses, aquesta tecnologia obre la porta a aplicacions pràctiques que milloren la presa de decisions, l'experiència del client i l'eficiència operativa. I amb el suport adequat en desenvolupament de programari, infraestructura cloud i analítica, qualsevol organització pot aprofitar tot el seu potencial.

UNA PAUSA?

Juga una estona abans de marxar

ELS NOSTRES SERVEIS

Com et podem ajudar

Tens un projecte en ment?

Explica'ns la teva visió i la convertim en una solució de programari. Sigui quin sigui l'abast, fem realitat la teva idea.