L'avaluació dels models de llenguatge ha evolucionat cap a escenaris que reflecteixen la incertesa real. Durant anys, els benchmarks de raonament matemàtic oferien problemes autònoms: el model havia de respondre amb totes les dades presents. Tanmateix, en l'àmbit empresarial, la informació sovint està fragmentada. Un analista, un agent d'atenció al client o un sistema d'intel·ligència artificial necessita reconèixer quan li falta una dada i saber demanar-la. MIRA-Math aborda aquesta habilitat des d'una perspectiva matemàtica i controlada: cada problema té una única resposta, però falta exactament un fet atòmic. El model l'ha de sol·licitar en llenguatge natural, rebre'l si la petició és correcta i després integrar-lo per obtenir una resposta exacta.
La proposta introdueix un respondedor fix que actua com a canal. Si la petició del model coincideix amb la dada definida, el respondedor entrega la citació textual; si no coincideix, la rebutja. Aquest mecanisme elimina ambigüitats en l'avaluació: la petició correcta, la pista i la validació final segueixen regles deterministes. Per a les empreses, aquesta mecànica és molt valuosa perquè separa dues competències: saber quina informació falta i saber utilitzar-la. Un sistema que pregunta bé però calcula malament continua sent poc fiable, i un altre que endevina en lloc de demanar pot produir decisions incorrectes.
MIRA-Math conté 2.310 instàncies generades a partir de 22 famílies tipades. Hi ha problemes d'àlgebra, probabilitat, sistemes lineals, estructures discretes, processament de senyals, cadenes de Markov, circuits, interpolació i problemes de contorn numèrics. Aquesta varietat permet avaluar si un model de llenguatge és capaç d'identificar la dada absent en contextos molt diferents. No és una prova de memòria, sinó de diagnòstic i raonament. Per això es converteix en una referència útil per a qui desenvolupem programari amb components d'intel·ligència artificial.
A Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, veiem en MIRA-Math una eina conceptual per dissenyar programari a mida més sòlid. Els processos de negoci rarament disposen de totes les dades en el primer intent. Un sistema de Business Intelligence, per exemple, pot necessitar una mètrica concreta que encara no està connectada. En lloc de mostrar un resultat incomplet, l'aplicació ha de sol·licitar l'origen de dades o el paràmetre absent. Aquesta disciplina millora la confiança en els informes i redueix els errors d'interpretació.
La separació entre petició i resolució també té conseqüències pràctiques en l'arquitectura. Si un agent ha de sol·licitar només la informació necessària, el cost computacional baixa i la privadesa millora. En lloc d'enviar un context massiu al model, s'envia una pregunta i es rep una pista atòmica. Per a projectes allotjats a cloud AWS/Azure, aquesta estratègia facilita el compliment normatiu i el control d'accessos. A més, la possibilitat d'auditar cada petició converteix el sistema en un candidat ideal per a entorns amb requisits de ciberseguretat.
MIRA-Math també permet observar el punt exacte de fallada. Hi ha models que encerten en demanar la dada, però s'equivoquen en l'operació següent. D'altres no arriben a formular la petició correcta. Aquesta granularitat és essencial per als equips d'enginyeria, perquè orienta el treball d'ajust: no és el mateix millorar la comprensió lectora que reforçar la capacitat de càlcul. Les empreses que adopten programari basat en IA necessiten mètriques així per decidir on invertir temps i recursos.
En el desenvolupament d'agents d'IA, aquest enfocament és directament aplicable. Un assistent que atén incidències ha de saber quina factura, comanda o referència li falta abans de continuar. Si no té aquesta dada, l'ha de sol·licitar amb precisió. Els agents que treballen amb dades internes poden usar aquest patró per evitar al·lucinacions. A Q2BSTUDIO integrem aquests principis en agents d'IA orientats a l'automatització de processos, on la qualitat de la interacció és tan important com el resultat final.
Una altra lliçó rellevant és que la petició ha de ser específica. El respondedor només entrega la dada si la sol·licitud coincideix amb la definició canònica. Si el model demana més informació de manera genèrica, no rep res. Aquest comportament obliga els assistents a millorar la seva comunicació tècnica. En un entorn de BI/Power BI, aquesta precisió és fonamental: una pregunta ha d'incloure la dimensió, la mesura i el període correctes. En cas contrari, la resposta no pot ser útil.
La diversitat de famílies matemàtiques converteix MIRA-Math en un excel·lent camp de proves per a models de propòsit general. Una cadena de Markov no es raona igual que un problema d'interpolació. Si un model es desembolica bé en totes, és raonable confiar en la seva capacitat per adaptar-se a dominis verticals. Per a una empresa de tecnologia, això ajuda a seleccionar la base d'IA adequada i a dissenyar capes de programari a mida que corregeixin les seves debilitats.
La generació determinista d'instàncies també és un punt a favor. En existir generadors, verificadors, prompts i metadades d'execució, qualsevol equip pot reproduir els resultats. Això afavoreix la comparació entre versions de models i evita conclusions basades en una única execució. En l'àmbit del programari empresarial, la reproductibilitat és un valor central. Un client necessita saber que una millora en el rendiment no és casualitat, sinó conseqüència d'una modificació verificable.
Des de la perspectiva de la ciberseguretat, el principi de MIRA-Math resulta elegant. El sistema no exposa tot el seu coneixement; només revela el fet atòmic quan la intenció és legítima i específica. Aquesta mateixa lògica es pot aplicar al disseny d'APIs i microserveis. En lloc d'atorgar permisos amplis, es pot implementar un accés per context i necessitat. Les organitzacions que operen a cloud AWS/Azure poden beneficiar-se d'aquest patró per reduir la superfície d'atac i complir amb polítiques de privadesa des del disseny.
De cara al futur, els agents d'IA hauran d'interactuar amb sistemes empresarials cada cop més complexos. La capacitat de demanar ajuda quan falta informació no és una debilitat, sinó una fortalesa. MIRA-Math contribueix a que aquesta competència es pugui mesurar de manera objectiva. Els qui construïm tecnologia hem d'incorporar aquest tipus d'avaluacions en els nostres processos de qualitat. Un model que sap quan preguntar genera més confiança que un que sempre respon amb falsa seguretat.
En definitiva, el benchmark MIRA-Math convida a repensar la relació entre informació i raonament. Per a una empresa de programari com Q2BSTUDIO, aquesta idea connecta amb el desenvolupament d'aplicacions a mida, la intel·ligència artificial, la ciberseguretat i el cloud. No es tracta només que una màquina respongui; es tracta que entengui el context, reconegui els seus límits i sol·liciti el necessari per donar una resposta fiable. Aquesta és la direcció cap a la qual avancen els millors projectes de digitalització.
