Quan un assistent d'intel·ligència artificial comença a al·lucinar respostes en producció, l'impacte no és només tècnic: és reputacional, operatiu i econòmic. Durant mesos, molts equips confien en allò que anomenem 'vibe checks' —preguntar, llegir i assentir— fins que una resposta inventada arriba a un client real. La transició de validacions subjectives a pipelines d'avaluació automatitzats no és un luxe: és la línia que separa un prototip d'un sistema fiable. A Q2BSTUDIO, empresa de desenvolupament de programari i tecnologia, hem comprovat que construir un pipeline d'avaluació per a models de llenguatge (LLM) en producció requereix molt més que copiar benchmarks acadèmics; exigeix un enfocament artesanal, mètriques pròpies i una integració contínua que detecti regressions abans que afectin l'usuari.
El primer error comú és assumir que un LLM que funciona bé en proves de laboratori es comportarà igual amb dades reals. Els conjunts de dades estàndard com MMLU o HellaSwag mesuren coneixement general, però no avaluen si el model respecta el context del teu domini, si segueix instruccions específiques del teu negoci o si estructura la sortida conforme a esquemes JSON que la teva aplicació espera. L'avaluació de producció necessita jutges específics del domini: un jutge de fidelitat que verifiqui que cada afirmació està recolzada pel context recuperat, un jutge de seguiment d'instruccions que comprovi restriccions de format, un jutge d'esquema JSON per a sortides estructurades, i, segons el sector, jutges de seguretat que detectin informació personal o contingut nociu. En lloc d'una única mètrica, es construeix un ensemble de jutges —cadascun amb un llindar d'aprovació definit— que treballen en paral·lel sobre un conjunt de casos de prova conegut com a golden dataset.
L'estratègia del golden dataset és clau. No cal començar amb mil casos; cinquanta casos reals de producció, estratificats: 40% de rutes felices, 30% de casos límit (preguntes ambigües, multi-pas), 20% adversarials (injecció de prompt, temes fora d'abast) i 10% multilingües o de context llarg. Cada fallada en producció s'ha de convertir en un nou cas de prova. Aquest dataset es versiona amb Git i s'actualitza constantment. És l'actiu més valuós del sistema d'avaluació, perquè captura el comportament esperat del teu assistent en situacions reals. A Q2BSTUDIO recomanem tractar aquestes dades com a infraestructura crítica: auditables, revisables i protegides.
L'automatització no s'acaba en l'avaluació puntual. El veritable valor apareix quan el pipeline s'integra en el flux d'integració contínua (CI/CD). Cada cop que un desenvolupador modifica un prompt, actualitza un model o canvia la lògica de recuperació, es dispara una execució completa del suite d'avaluació. Els resultats es comparen amb una línia base històrica. Si la puntuació mitjana d'un jutge cau més d'un 5%, el sistema marca una regressió i bloqueja el merge. Això redueix el cicle d'iteració de prompts d'hores a minuts i, sobretot, evita que canvis aparentment innocus introdueixin al·lucinacions o pèrdues de fidelitat. A Q2BSTUDIO hem vist equips reduir incidents en producció de tres al mes a menys d'un cada cinc mesos després d'implementar aquest enfocament.
El disseny dels jutges LLM mereix atenció especial. Un jutge de fidelitat ben construït utilitza pocs exemples (few-shot) per ensenyar al model avaluador què significa 'recolzat pel context' davant de 'contradiu el context'. La temperatura es fixa a zero per maximitzar el determinisme. La sortida s'estructura amb models de resposta tipats (per exemple, amb instructor o Pydantic) perquè el resultat sigui sempre un objecte amb score, raonament i un booleà passed. Això permet agregar mètriques de forma consistent i generar informes automàtics en pull requests. A més, els jutges poden ser específics de domini: un jutge per a compliment normatiu en finances, un altre per a precisió mèdica, un altre per detectar biaixos. Com més jutges especialitzats, més fina és la detecció de regressions.
L'escalabilitat d'aquests pipelines també és un repte. Executar un ensemble de jutges sobre centenars de casos de prova pot consumir molts tokens i temps. La solució és la concurrència controlada: executar avaluacions en paral·lel amb un límit de concurrència que eviti saturar l'API del model. A més, es poden cachejar resultats per a casos que no hagin canviat. La monitorització en temps real mitjançant dashboards permet visualitzar l'evolució de les mètriques al llarg del temps i configurar alertes que actuen com a paginació immediata. No es tracta d'informes setmanals; una regressió en la fidelitat ha de provocar una notificació a l'equip en minuts.
A Q2BSTUDIO, com a empresa especialitzada en intel·ligència artificial i desenvolupament de programari a mida, apliquem aquesta filosofia en nombrosos projectes. Des d'assistents d'atenció al client basats en RAG fins a sistemes d'anàlisi de documents legals, l'avaluació automatitzada s'ha convertit en un pilar de la nostra metodologia. Combinem aquests pipelines amb serveis cloud a AWS i Azure per desplegar infraestructures escalables i segures. També integrem solucions de ciberseguretat per garantir que les dades sensibles no quedin exposades durant les avaluacions, i utilitzem eines de business intelligence com Power BI per visualitzar les mètriques de rendiment dels models. Tot això forma part d'un ecosistema on els agents d'IA no són simples chatbots, sinó components orquestrats que requereixen validació contínua.
El canvi de mentalitat és el factor més rellevant. L'avaluació d'LLM no és una tasca puntual que es fa al final del desenvolupament; és infraestructura que s'ha de mantenir, versionar i millorar amb cada incident. Cada prompt, cada ajust en la base de coneixement, cada nou cas d'ús, ha d'anar acompanyat d'una execució del pipeline. Els equips que adopten aquesta disciplina veuen com la taxa de captura d'al·lucinacions salta del 60-70% (depenent de revisions manuals) al 90% o més amb jutges automatitzats. I el més important: recuperen la confiança en els seus sistemes. Saber que abans de desplegar qualsevol canvi, un conjunt de jutges ha verificat la fidelitat, el seguiment d'instruccions i la seguretat, permet als equips moure's més ràpid i amb menys por.
La conclusió és clara: construir un pipeline d'avaluació de producció per a LLM és una inversió que s'amortitza en la primera setmana en evitar un incident greu. No es tracta de substituir el judici humà per complet, sinó d'augmentar-lo amb mètriques objectives que detectin allò que l'ull humà no capta en una revisió ràpida. A Q2BSTUDIO ajudem empreses a dissenyar i implementar aquests pipelines, adaptats al seu domini, integrats en el seu CI/CD i monitoritzats en temps real. Perquè, al final, allò que importa no és l'enginy del prompt, sinó que la resposta sigui correcta, fiable i segura per a l'usuari.
