LLMs com a Jurat: El Consens entre Models Supera els Reward Models

En la cursa per millorar la capacitat de raonament dels models de llenguatge (LLMs), un dels colls d'ampolla més persistents és com seleccionar la cadena de pensament correcta entre un conjunt de candidats. Tradicionalment, els mètodes dominants han estat l'autoconeixement (self-consistency) i els models de recompensa entrenats. No obstant això, tots dos comporten costos significatius: el primer replica els errors del model que els genera, mentre que els segons requereixen dades etiquetades i es degraden en trobar-se amb distribucions diferents de les d'entrenament. Una alternativa emergeix amb força: el consens entre models entrenats de manera independent, actuant com un jurat d'LLMs. Aquest enfocament, que no exigeix cap recurs addicional durant la inferència, es basa en l'estructura de l'acord entre models, no en la puntuació que un atorga a un altre. En set benchmarks diferents, aquest mètode supera l'autoconeixement i s'acosta al rendiment d'un selector ideal (oracle) en problemes de matemàtiques competitives, mentre que l'autoavaluació amb prou feines tanca la bretxa. El secret rau en la descorrelació d'errors: quan diversos models independents s'equivoquen, ho fan de maneres diferents, dispersant les seves respostes incorrectes, mentre que la resposta correcta acumula consens. Aquest fenomen es descriu amb una llei paramètrica lliure, derivada en forma tancada, que prediu la precisió del consens a partir de tres estadístiques observables del panell, amb un error absolut mitjà de 0.03. La llei també revela un sostre: un sòl d'error compartit quan tots els models arrosseguen la mateixa concepció errònia, que en matemàtiques és gairebé nul però en ciències pot ser significatiu. En comparar el jurat amb quatre verificadors entrenats (discriminatius, de resultat i generatius), el consens entre models iguala al millor dins del seu domini d'entrenament en matemàtiques i el supera fora. Això converteix el consens entre models en un verificador que podem caracteritzar per endavant: una llei que indica quan confiar i un sòl que marca on no es pot. Per a una empresa com Q2BSTUDIO, dedicada al desenvolupament de programari i tecnologia, aquesta innovació té implicacions directes. En els nostres projectes d'intel·ligència artificial, la fiabilitat dels agents IA és crítica. Integrar un mecanisme de consens entre models ens permet construir aplicacions a mida que prenen decisions més robustes, especialment en escenaris on les dades etiquetades escassegen o els dominis canvien ràpidament. Per exemple, un sistema de ciberseguretat que analitzi patrons d'atac pot beneficiar-se d'un panell d'LLMs que acordin la naturalesa d'una amenaça, reduint falsos positius. De manera similar, en solucions de cloud AWS/Azure, l'orquestració d'agents que verifiquen les seves respostes de forma col·lectiva millora l'escalabilitat sense sacrificar precisió. La nostra oferta de Business Intelligence amb Power BI també es veu potenciada: els informes generats per IA poden ser validats per consens, garantint que els insights reflecteixin la realitat de les dades. A més, aquest enfocament s'alinea perfectament amb l'automatització de processos, on la verificació sense supervisió humana és clau. La llei del consens entre models no és només un avenç acadèmic: és una eina pràctica que estem incorporant en els nostres desenvolupaments per oferir programari més intel·ligent i segur. El sòl d'error compartit, que la llei identifica, ens permet dissenyar panells de models diversificats, minimitzant biaixos comuns. A Q2BSTUDIO creiem que la col·laboració entre models, molt més que el judici individual, és el camí cap a una IA fiable. Per això, seguim investigant com aplicar aquest principi a les nostres aplicacions a mida, integrant cloud, ciberseguretat i BI en un ecosistema coherent. El consens entre models no reemplaça els reward models, sinó que els complementa, oferint una alternativa gratuïta i transparent. En definitiva, el futur de la verificació en IA passa per jurats diversos, no per jutges únics. I a Q2BSTUDIO, estem preparats per construir aquest futur.