El post-entrenament amb RL construeix estratègies de raonament compositiu, una idea que està canviant la manera com les empreses entenen la intel·ligència artificial. Durant anys, la conversa sobre models de llenguatge es va centrar en les dades i l'arquitectura: un model base gran, entrenat amb moltíssim text, semblava suficient per resoldre qualsevol tasca si se li donava el context adequat. La pràctica real, però, demostra que el potencial brut no es converteix automàticament en capacitat operativa. L'ajustament fi, i en particular l'aprenentatge per reforç, és on les habilitats latents es transformen en estratègies utilitzables. En el cas concret de tasques de raonament simbòlic, l'evidència suggereix que el reforç no només amplifica comportaments previs, sinó que compon operacions simples en procediments més abstractes. Aquesta capacitat de compondre és el que separa un sistema que repeteix patrons d'un sistema que raona.
L'experiment conceptual parteix d'un entorn totalment observable en el qual es generen cadenes de reescriptura de símbols. Un model es preentrena amb transformacions primitives, és a dir, regles simples que canvien un símbol o una seqüència. Després se sotmet a una tasca de raonament basada en traces, amb un únic senyal de recompensa binària al final: correcte o incorrecte. No hi ha supervisió intermèdia que indiqui quins passos són bons o dolents. Tot i aquest senyal tan pobra, l'aprenentatge per reforç aconsegueix resoldre problemes que el model preentrenat gairebé no resolvia, fins i tot si se li deixava mostrejar moltes més vegades. En canvi, l'ajustament fi per rebuig, que filtra les respostes correctes generades pel mateix model, millora al principi però s'estanca. Aquesta comparació revela que el mecanisme clau no és la quantitat d'exploració, sinó la qualitat selectiva d'aquesta exploració.
Per entendre què passa internament, els investigadors van auditar cada reescriptura generada pel model. L'anàlisi de traces va mostrar un patró en tres fases. Primer, el reforç enforteix les reduccions primitives: el model aprèn a executar les regles bàsiques amb més fiabilitat. Després, descobreix procediments compostos vàlids. Aquests procediments són de dos tipus. Els primers són composicions seqüencials, que col·lapsen cadenes ordenades de contraccions primitives en una seqüència més curta i estable. Els segons són composicions paral·leles, que permeten executar diverses contraccions independents en un mateix pas. El més rellevant és que aquests procediments compostos no apareixen per atzar. El model els reutilitza, els reté i els consolida en un repertori estable. És a dir, no resol cada problema des de zero, sinó que construeix una col·lecció d'estratègies reutilitzables. Aquesta és, precisament, la diferència entre memoritzar solucions i generalitzar coneixement.
La comparació amb l'ajustament fi per rebuig aporta una altra lliçó important. El rebuig genera moltes solucions candidates, selecciona les que arriben a la resposta correcta i entrena sobre elles. A primera vista, sembla una manera raonable d'explotar la capacitat del model. Tanmateix, les traces mostren que una part significativa d'aquestes solucions són dreceres fràgils: contenen passos invàlids que per casualitat acaben en la resposta correcta. En filtrar només pel resultat final, el model aprèn a imitar estructures defectuoses. L'aprenentatge per reforç, en canvi, concentra l'exploració en estructures vàlides i reutilitzables perquè la política s'actualitza amb una visió més global de la recompensa i de les conseqüències de cada pas intermedi. Aquesta diferència de selectivitat té un impacte directe en la robustesa del sistema final. No n'hi ha prou amb aconseguir la resposta correcta; cal assegurar-se que el camí cap a la resposta sigui correcte i repetible.
Els experiments sobre el preentrenament afegeixen un matís decisiu. La mera exposició a operacions primitives no és suficient perquè el post-entrenament desenvolupi estratègies compositives. Si el preentrenament no organitza aquestes operacions en forma de procediments de reducció, el model arriba al reforç amb matèria primera, però sense estructura. En canvi, quan el preentrenament crea una organització procedimental, el reforç pot comprimir-la en estratègies de nivell superior. Això suggereix que la qualitat del coneixement previ importa tant com la quantitat. Per a les empreses que entrenen o ajusten models, la conclusió és clara: la base ha d'estar ben estructurada, amb habilitats descompostes i traçables, abans d'intentar construir comportaments complexos.
Una de les conseqüències més poderoses d'aquesta recerca és que el post-entrenament es pot entendre com una forma d'enginyeria del coneixement. En lloc de tractar els models com a caixes negres, és possible dissenyar senyals, entorns i mètriques que afavoreixin l'aparició de composicions vàlides. Això és especialment rellevant quan es treballa amb agents d'IA en producció: un agent que executa una acció rere l'altra necessita la mateixa lògica de composició per no acumular errors. La traçabilitat de les decisions, la capacitat d'auditar cada pas i la reutilització de procediments contrastats són requisits operatius, no luxes acadèmics.
Aquesta visió té aplicacions molt concretes en el món empresarial. A Q2BSTUDIO, com a empresa de desenvolupament de programari i tecnologia, treballem amb sistemes que han de prendre decisions, automatitzar processos i explicar els seus resultats. La lògica compositiva del reforç encaixa amb la manera com dissenyem aplicacions a mida: no partim d'una pàgina en blanc, sinó de components de negoci reutilitzables, integracions i regles de domini que es combinen per resoldre un problema específic. De la mateixa manera que el model de l'experiment consolida procediments vàlids, una aplicació empresarial ha de consolidar mòduls i fluxos de treball que hagin demostrat la seva utilitat. Si vols aprofundir en com apliquem aquesta filosofia al desenvolupament de programari, pots consultar el nostre servei d'aplicacions a mida.
En el camp de la intel·ligència artificial, aquesta mateixa idea guia la construcció d'agents d'IA i solucions d'automatització. Un agent eficaç no és un model que genera respostes; és un sistema que combina eines, dades i processos de manera segura i traçable. El post-entrenament selectiu, amb recompenses ben definides i auditoria de passos, és el que permet que un agent passi de demostrar destresa aïllada a executar una estratègia completa. A Q2BSTUDIO integrem a més cloud AWS/Azure per escalar aquests sistemes, ciberseguretat per protegir cada interacció i BI/Power BI per mesurar-ne l'impacte. Tot això encaixa en una arquitectura on la composició és el principi central, igual que en els experiments de reescriptura simbòlica. Conèixer els límits dels models base i saber com refinar-los és un avantatge competitiu. La tecnologia no avança només acumulant dades, sinó construint capes d'abstracció que permetin raonar-hi a sobre. Si la teva organització necessita convertir capacitats latents en resultats operatius, el camí és un post-entrenament dissenyat amb criteri, la supervisió dels processos i la reutilització de les estratègies que funcionen. A Q2BSTUDIO ajudem les empreses a recórrer aquest camí combinant enginyeria de programari, intel·ligència artificial i visió de negoci. Si vols saber més, pots explorar els nostres serveis d'intel·ligència artificial.
