En el desenvolupament d'aplicacions empresarials, la fiabilitat dels sistemes que integren intel·ligència artificial s'ha convertit en una prioritat estratègica. Un estudi recent, presentat sota el nom de PhantomFill, revela una paradoxa preocupant: quan un formulari exigeix una resposta, els models de llenguatge tendeixen a inventar dades en lloc de reconèixer la seva incapacitat per respondre. Aquest fenomen, lluny de ser anecdòtic, té implicacions profundes per a qualsevol empresa que faci servir IA en producció, especialment en processos on la veracitat de la informació és crítica.
L'estudi va analitzar tretze models de llenguatge sotmesos a la mateixa pregunta sobre un mateix conjunt de dades, variant únicament el format de sortida. Quan es demanava una resposta en text lliure, els models encertaven a declarar que no hi havia informació suficient en més del 98% dels casos. No obstant, en exigir un camp JSON obligatori —per exemple, un sentiment—, la taxa d'invenció es disparava fins al 100% en deu dels tretze models. Fins i tot instruccions explícites com 'no inferir sentiment' eren ignorades quan l'esquema del formulari ho requeria.
Aquest comportament recorda els problemes d'al·lucinació en intel·ligència artificial, però amb un matís distintiu: la pressió del format. No és que el model no sàpiga la resposta, és que el formulari l'obliga a omplir un camp que no pot deixar buit. En el món empresarial, això es tradueix en riscos concrets. Imaginem un sistema d'atenció al client que, en no trobar la transcripció d'una trucada, inventa un sentiment negatiu al ticket. O una eina d'anàlisi de xarxes socials que fabrica l'estat d'ànim d'una audiència perquè el camp 'sentiment' és obligatori a la base de dades.
Per a les empreses que desenvolupen aplicacions a mida, entendre aquest fenomen és essencial. A Q2BSTUDIO, portem anys dissenyant sistemes que integren IA de forma responsable, i sabem que la qualitat de la dada no depèn només del model, sinó de com se li demana que la lliuri. Un formulari mal dissenyat pot convertir un model honest en un generador de falsedats. Per això, en construir solucions de Business Intelligence amb Power BI o en desplegar agents d'IA al núvol, prestem especial atenció a la configuració dels esquemes de sortida.
El benchmark PhantomFill proposa dues mètriques clau: la Taxa de Fabricació Coaccionada (Coerced Fabrication Rate) i la Taxa d'Utilització d'Escape (Escape Utilization Rate). La primera mesura quantes vegades el model inventa quan el formulari no li dona opció a declarar insuficiència d'evidència. La segona, quantes vegades utilitza correctament un camp opcional d''evidència insuficient' quan existeix. Els resultats són reveladors: fins i tot quan s'ofereix aquesta opció, els models de codi obert la ignoren sistemàticament. Només els models frontera, amb entrenament específic, aconsegueixen escapar del parany.
La solució que proposen els autors és sorprenentment simple: una línia d'esquema addicional que permeti al model expressar dubte. Però implementar aquesta solució de forma efectiva requereix comprendre com els models interpreten les restriccions del format. Aquí és on l'experiència en cloud AWS i Azure esdevé crucial. En desplegar models en entorns productius, cal configurar no només el model, sinó també els pipelines de dades que l'alimenten i els esquemes que defineixen la seva sortida. Un agent d'IA mal configurat pot generar informes falsos que, si s'integren en un quadre de comandament de Business Intelligence, prenen decisions errònies basades en dades inventades.
Una altra troballa important de l'estudi és que la resistència a la fabricació no escala amb la mida del model. Dins d'una mateixa família, el model petit es nega a inventar, el mitjà fabrica i el gran torna a negar-se. Això suggereix que l'honestedat sota pressió de format és un resultat de l'entrenament que ningú no mesura actualment. Per a una empresa que desenvolupa programari a mida, aquest comportament ha de ser testejat de forma específica. No n'hi ha prou amb avaluar la precisió del model en tasques generals; cal provar com respon quan el formulari li demana un camp obligatori sense dades suficients.
A Q2BSTUDIO, abordem aquest repte des de diverses perspectives. Primer, dissenyem esquemes de dades que inclouen sempre una opció explícita per indicar falta d'evidència, seguint la recomanació de l'estudi. Segon, integrem capes de validació posteriors al model, utilitzant regles de negoci i heurístiques que detecten possibles invencions. Tercer, formem els nostres agents d'IA amb exemples específics on la resposta honesta és 'no ho sé', reforçant aquest comportament durant l'ajust fi. I tot això ho despleguem sobre infraestructures cloud segures, amb polítiques de ciberseguretat que garanteixen que les dades inventades no contaminin sistemes crítics.
La lliçó de PhantomFill va més enllà d'un paper acadèmic. És una crida d'atenció per a tota la indústria del programari. Quan s'integra IA en un sistema, el disseny del formulari —ja sigui un JSON, una API o un camp de base de dades— determina en gran mesura la fiabilitat del resultat. Ignorar aquest fet és convidar els models a mentir. I en sectors com la banca, la salut o la logística, una mentida pot costar milions.
En conclusió, la fabricació induïda per formularis no és un bug menor, és una característica emergent de la interacció entre models de llenguatge i esquemes rígids. Les empreses que aposten per la transformació digital amb IA han d'incorporar aquest coneixement en els seus processos de desenvolupament. A Q2BSTUDIO, oferim consultoria i desenvolupament d'automatització de processos amb IA, garantint que els formularis no forcin els models a mentir. Perquè la intel·ligència artificial no ha de tenir por de dir 'no ho sé'.
