L'edició de coneixement en models de llenguatge (LLMs) s'ha convertit en una àrea crítica per a les empreses que despleguen intel·ligència artificial en producció. Mantenir actualitzada la informació sense recórrer a costosos reentrenaments és el somni de qualsevol equip d'IA, però la realitat és que les tècniques existents, com MEMIT o AlphaEdit, solen provocar una degradació asimètrica: mentre la memòria enciclopèdica es conserva, les capacitats matemàtiques i de programació s'enfonsen. Aquest fenomen, identificat per investigadors en un article recent, té nom: Moir, un mètode que extreu la distribució operativa del propi model per guiar l'edició de forma no destructiva.
Per entendre la importància de Moir, primer cal comprendre el problema de fons. Els LLMs actuals passen per dues fases: un preentrenament massiu amb corpus estàtics (Viquipèdia, llibres, articles) i un post-entrenament mitjançant tècniques com SFT (supervised fine-tuning) o DPO (direct preference optimization). Aquest post-entrenament modela la distribució que el model realment utilitza en generar respostes. Quan apliquem un editor de coneixement basat en covariàncies, com MEMIT, aquest preserva únicament els subespais del corpus de referència estàtic. El resultat és que el model perd el 'sabor' de la seva distribució operativa, especialment en dominis complexos com raonament matemàtic o codi. La solució proposada per Moir és elegant: estimar la matriu de covariància de preservació directament a partir de les descodificacions del model, sense necessitat de dades externes. En iniciar la generació amb un token aleatori del vocabulari, s'evita que les plantilles d'instrucció dominin les mostres, exposant així els veritables subespais que el model ha internalitzat.
Des d'una perspectiva tècnica, Moir actua com un component endollable per a qualsevol editor basat en covariàncies. En els experiments reportats, utilitzant models com OLMo-2, Llama-3.1 i Qwen-3 (7-8B), sota MEMIT i AlphaEdit, en règim seqüencial i per lots, Moir va aconseguir estendre significativament la preservació en dominis vulnerables. Un cas impactant: en Qwen-3-8B després de 20.000 edicions per lots amb AlphaEdit, la precisió en GSM8K (problemes matemàtics) va passar del 10,9% amb la línia base de Viquipèdia al 79,9% amb Moir. Aquest salt no és casualitat: alinear la distribució de preservació amb la distribució operativa del model és la clau per a una edició no destructiva. I el propi model resulta ser la font més accessible d'aquesta distribució per a sistemes desplegats, ja que els corpus de pre i post-entrenament dels LLMs moderns no solen ser públics.
Per a les empreses de desenvolupament de programari i tecnologia, com Q2BSTUDIO, aquesta innovació obre possibilitats reals. Imagina un assistent d'IA per a atenció al client que necessita actualitzar informació sobre productes sense perdre la seva capacitat de calcular descomptes o generar codi d'integració. Amb Moir, es pot editar el coneixement de forma quirúrgica sense danyar les habilitats adquirides durant el post-entrenament. Això és particularment rellevant en projectes d'IA personalitzada, on els models s'ajusten amb dades pròpies i després requereixen actualitzacions freqüents. A més, la naturalesa plug-and-play de Moir el fa ideal per integrar-se en pipelines de MLOps, minimitzant la necessitat de retenció de dades externes i reduint el risc de fuita d'informació sensible.
En el context de aplicacions a mida, la capacitat de mantenir la coherència d'un LLM després de múltiples edicions és un diferenciador competitiu. Per exemple, en un sistema de recomanació financera que utilitza un model ajustat amb dades de mercat, Moir permetria incorporar noves regulacions sense que el model perdi precisió en calcular riscos. De la mateixa manera, en entorns de ciberseguretat, on els LLMs s'utilitzen per analitzar patrons d'atac, actualitzar el seu coneixement sobre noves vulnerabilitats sense degradar la seva capacitat de raonament lògic és crític. Moir, en preservar la distribució operativa, evita que el model 'oblidi' com detectar amenaces complexes després d'una edició.
També cal destacar la sinergia amb serveis cloud. Implementar Moir en infraestructures cloud AWS/Azure permet escalar les edicions de forma eficient, ja que el mètode no requereix dades externes ni processos pesats de reentrenament. Les empreses poden mantenir els seus models actualitzats en temps real, amb un cost computacional molt inferior al d'un fine-tuning complet. A més, en evitar la dependència de corpus estàtics, es redueix la necessitat de moure dades sensibles al núvol, millorant la seguretat i el compliment normatiu.
Els agents d'IA són un altre camp d'aplicació prometedor. Un agent autònom que interactua amb APIs i bases de coneixement necessita actualitzar la seva 'base de fets' sense perdre habilitats procedimentals. Moir, en extreure la distribució del propi model, permet que l'agent s'adapti a nova informació sense requerir un reentrenament complet del sistema multiagent. Per a agents IA en processos d'automatització, això significa una millora substancial en la robustesa i la capacitat d'evolució contínua.
Per descomptat, la implementació tècnica de Moir no està exempta de desafiaments. Estimar la covariància de preservació a partir de mostres generades pel model requereix un equilibri acurat entre exploració i explotació. L'ús d'un token aleatori com a llavor pot generar soroll, però els resultats experimentals demostren que el senyal supera àmpliament el soroll. A més, la tècnica és agnòstica a l'editor subjacent, facilitant la seva adopció en frameworks existents com MEMIT o AlphaEdit. Per a les empreses, això significa que poden incorporar Moir als seus pipelines actuals sense grans reestructuracions.
El panorama de l'edició de coneixement està canviant. Moir no és només un avenç acadèmic; és una eina pràctica perquè les organitzacions despleguin models de llenguatge vius, capaços d'aprendre nova informació sense deteriorar les seves capacitats fonamentals. A Q2BSTUDIO, entenem que la intel·ligència artificial no és un producte estàtic, sinó un ecosistema en evolució. Per això, serveis com el desenvolupament de BI/Power BI i la integració d'agents intel·ligents es beneficien directament de tècniques com Moir, que permeten mantenir la coherència i precisió dels models al llarg del temps.
En conclusió, Moir representa un pas endavant cap a l'edició de coneixement no destructiva, solucionant el problema de la degradació asimètrica que afecta els LLMs moderns. En aprofitar la pròpia distribució del model, s'elimina la dependència de corpus externs i s'alinea la preservació amb allò que el model realment sap fer. Per a les empreses de tecnologia, això es tradueix en models més robustos, actualitzacions més segures i un major retorn de la inversió en IA. I com sempre, a Q2BSTUDIO estem preparats per ajudar els nostres clients a implementar aquestes innovacions, ja sigui a través de aplicacions a mida, solucions cloud o projectes de ciberseguretat avançada.
