Els models de llenguatge de gran escala (LLMs) han transformat la forma en què les empreses interactuen amb la informació, però la seva adopció planteja un desafiament crític: quan s'han d'abstenir de respondre. Un estudi recent revela que els LLMs operen sota dos eixos d'abstenció independents: la correcció de la resposta i la capacitat de resposta de la pregunta. Mentre que la confiança en la resposta sol correlacionar-se amb la precisió, resulta gairebé cega davant preguntes mal formulades o basades en premisses falses. Per contra, les representacions internes del model detecten aquestes preguntes problemàtiques, encara que no les verbalitzin. Aquesta dualitat implica que una política de llindar únic és insuficient per garantir fiabilitat en entorns empresarials.
Per a una empresa que desplega intel·ligència artificial en els seus processos, entendre aquesta diferència és vital. No n'hi ha prou que el model sigui 'segur' en les seves respostes; ha de reconèixer quan no ha de respondre en absolut. L'estudi demostra que, en escalar els models, el punt cec no es redueix: fins i tot models de 14 mil milions de paràmetres fallen a identificar preguntes no respondibles. Tanmateix, una sonda lineal sobre els estats ocults pot assolir un AUROC de fins a 0.77, indicant que el model sí que representa internament la manca de resposta, però no la reporta.
La solució proposada passa per separar ambdues mètriques i dissenyar polítiques calibrades. En lloc d'instruir el model perquè verifiqui premisses —el que provoca que rebutgi tant premisses falses com veritables—, es pot redirigir aquesta instrucció mitjançant la sonda, triplicant la precisió dels rebuigs. Això permet controlar la taxa de respostes a preguntes no respondibles, mentre que la taxa de respostes incorrectes està limitada per la precisió inherent del model.
Per a les organitzacions, aquesta troballa té implicacions directes en el desenvolupament d' aplicacions a mesura que integrin LLMs. En implementar sistemes d' abstenció basats en dos eixos, es pot certificar que el 75% de les respostes correctes siguin emeses sota un pressupost d' errors controlat, enfront del 31% d' un llindar únic. Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, aplica aquests principis en les seves solucions de ia per a empreses, combinant serveis cloud aws i azure per escalar models de forma segura, i serveis intel·ligència de negoci amb power bi per visualitzar mètriques de confiança.
A més, la creació d'agents IA que sàpiguen quan derivar una consulta a un humà o quan abstenir-se per complet és una àrea on Q2BSTUDIO aporta valor mitjançant programari a mida. Aquests agents poden integrar-se en fluxos de treball crítics, com atenció al client o anàlisi financera, on una resposta incorrecta podria tenir conseqüències legals. La ciberseguretat també es beneficia: un model que no respon a preguntes malicioses o basades en dades falses redueix vectors d'atac.
A la pràctica, implementar aquesta política requereix una arquitectura que combini la representació interna del model amb un classificador extern. Per exemple, en lloc de confiar en la sortida de text, s'extreuen els estats ocults de les últimes capes i s'entrenen sondes específiques per detectar preguntes no respondibles. Després, s' estableixen llindars independents per a la confiança en la resposta i la capacitat de resposta. Només quan ambdós llindars se superen, el sistema emet una resposta. Aquest enfocament, que pot ser implementat amb serveis cloud aws i azure per al desplegament en producció, permet a les empreses escalar la IA de forma fiable.
La investigació també subratlla la importància de la transparència en els models. En utilitzar tècniques d' interpretabilitat, com les sondes lineals, es poden auditar les decisions d' abstenció. Q2BSTUDIO ofereix serveis de consultoria en intel·ligència artificial que inclouen l'avaluació de models mitjançant power bi i serveis intel·ligència de negoci, permetent als clients visualitzar en temps real les taxes d'encert i abstenció. Això s' alinea amb les millors pràctiques de governança de dades i compliment normatiu.
En conclusió, el desafiament de l'abstenció en LLMs no és tècnic únicament; és un problema de disseny de sistemes. Les empreses que adoptin un enfocament de dos eixos, com el descrit, no només milloraran la precisió de les seves respostes, sinó que també reduiran riscos reputacionals i operatius. Q2BSTUDIO, amb la seva experiència en aplicacions a mida i intel·ligència artificial, està posicionat per ajudar les organitzacions a navegar aquesta nova frontera, oferint solucions que integren agents IA, ciberseguretat i anàlisi avançada. La clau està en no demanar-li al model que decideixi sol, sinó a construir una capa de control que sàpiga quan callar i quan parlar.
