L'ajustament fi de models de llenguatge s'ha convertit en un pas gairebé obligatori per desplegar sistemes de pregunta-resposta en dominis especialitzats. No obstant, en camps com la ciberseguretat, on el coneixement evoluciona constantment i les dades etiquetades són limitades, el fine-tuning pot tenir conseqüències imprevisibles. Els models petits, d'uns 7 mil milions de paràmetres, ofereixen un equilibri entre eficiència i capacitat, però la seva adaptació requereix decisions acurades. FiT (Find before Fine-Tune) sorgeix com un marc de diagnòstic que avalua tres dimensions crítiques en aquests models: la capacitat de reconèixer vocabulari tècnic, el coneixement paramètric emmagatzemat durant el preentrenament i l'habilitat per contextualitzar informació recuperada de fonts externes. Aquest diagnòstic permet als desenvolupadors anticipar si un model concret es beneficiarà de l'ajust o, per contra, patirà degradacions en el seu rendiment, estalviant costos i evitant riscos de seguretat inherents a models que al·lucinen o fallen en tasques crítiques. L'elecció del model base esdevé així una decisió informada, recolzada en dades objectives.
Els estudis realitzats amb models de 7 mil milions de paràmetres revelen patrons clars: el fine-tuning no és universalment beneficiós. Mentre que l'ajust centrat en el coneixement produeix una degradació moderada que preserva el rànquing relatiu entre models, l'ajust orientat a instruccions pot col·lapsar el coneixement paramètric, invertint fins i tot l'ordre de qualitat entre models. FiT quantifica aquestes tendències mitjançant anàlisi de correlació de rangs, proporcionant un senyal predictiu del comportament post-ajust. Per a una empresa tecnològica, aquesta informació és or: evita invertir temps i recursos a adaptar un model que acabarà sent pitjor que l'original. Això és especialment rellevant en ciberseguretat, on un model que al·lucini pot generar falsos positius o passar per alt amenaces reals, comprometent la seguretat de l'organització.
A Q2BSTUDIO, entenem que la intel·ligència artificial aplicada a la ciberseguretat requereix un enfocament meticulós. Per això, integrem marcs com FiT a la nostra oferta de serveis de desenvolupament d'aplicacions a mida. En combinar diagnòstics previs amb la nostra experiència en núvol AWS/Azure, ciberseguretat, Business Intelligence amb Power BI i agents IA, assegurem que cada solució de QA estigui basada en models òptims des de l'inici. Per exemple, en desenvolupar un assistent virtual per a analistes d'incidents, apliquem FiT per seleccionar entre diversos models de codi obert, garantint que el fine-tuning no degradi la seva capacitat de reconèixer termes com APTs o zero-day. El nostre equip d'enginyers treballa estretament amb els clients per entendre les seves necessitats específiques i aplicar el diagnòstic adequat, aconseguint una personalització que maximitza el rendiment.
Les tres capacitats que avalua FiT no són arbitràries. El reconeixement de vocabulari tècnic mesura la familiaritat del model amb l'argot de ciberseguretat, com ara termes de vulnerabilitats (CVE, CWE), tipus d'atacs (phishing, ransomware) o protocols (TLS, OAuth). El coneixement paramètric reflecteix la informació factual que el model ha internalitzat durant el preentrenament, per exemple, la data d'un atac famós o la funció d'un firewall. La contextualització, per la seva banda, avalua l'habilitat per combinar aquest coneixement amb fragments de text proporcionats a la consulta, simulant un escenari de cerca augmentada. En projectes d'aplicacions a mida, on cada client té el seu propi glossari i bases de coneixement, aquest diagnòstic permet personalitzar la selecció del model base abans de qualsevol adaptació supervisada. A més, la capacitat de reconèixer vocabulari tècnic és fonamental per entendre consultes complexes que incloguin acrònims o termes específics del sector, millorant la precisió de les respostes.
La contextualització d'informació recuperada és una altra capacitat essencial. En ciberseguretat, les respostes s'han de basar en fonts actualitzades com bases de dades de vulnerabilitats (per exemple, el catàleg CVE) o informes d'amenaces com els de MITRE ATT&CK. FiT avalua com un model integra el seu coneixement intern amb fragments recuperats, un factor determinant per al rendiment de sistemes RAG. Els nostres enginyers utilitzen aquest diagnòstic per dissenyar pipelines de recuperació augmentada que mantinguin la fidelitat fins i tot després del fine-tuning. A més, les solucions en núvol permeten escalar aquests diagnòstics a múltiples models simultàniament, accelerant la selecció i reduint el temps de desenvolupament. D'aquesta manera, les organitzacions poden beneficiar-se de models més precisos i fiables en els seus processos de seguretat.
Els agents IA estan guanyant terreny en ciberseguretat per automatitzar tasques com la classificació d'alertes, la resposta a incidents o la cerca d'intel·ligència d'amenaces. Aquests agents solen basar-se en models de llenguatge que han de seguir instruccions precises i recuperar informació contextual. FiT resulta especialment útil aquí, ja que permet avaluar si un model mantindrà la seva capacitat de seguir instruccions després del fine-tuning sense perdre coneixement paramètric. A Q2BSTUDIO, hem desenvolupat agents IA personalitzats que utilitzen aquest diagnòstic per seleccionar l'arquitectura base més adequada, garantint que l'agent final sigui robust i fiable. A més, integrem aquests agents amb plataformes en núvol com AWS o Azure per escalar el seu desplegament, i utilitzem Power BI per monitoritzar el seu rendiment en temps real. La monitorització permet detectar desviacions i ajustar el model de forma proactiva, assegurant un funcionament òptim.
El diagnòstic amb FiT no només beneficia els equips tècnics, sinó que també facilita la comunicació amb stakeholders no tècnics, en proporcionar mètriques clares sobre les capacitats del model. A Q2BSTUDIO, utilitzem aquests resultats per justificar decisions d'inversió en fine-tuning i per planificar iteracions de millora contínua. D'aquesta manera, el cicle de vida del model es gestiona de forma més eficient, des de la selecció inicial fins al desplegament i manteniment en producció. Aquest enfocament basat en dades redueix la incertesa i accelera l'adopció de solucions d'IA en entorns corporatius.
En conclusió, FiT representa un canvi de paradigma en l'adaptació de LLMs per a ciberseguretat. En lloc d'assumir que el fine-tuning sempre millora, defensa un diagnòstic previ que maximitzi el retorn de la inversió i minimitzi els riscos. Q2BSTUDIO està preparada per ajudar la vostra organització a implementar aquest tipus d'avaluacions, ja sigui per a projectes d'intel·ligència artificial, ciberseguretat o transformació digital. Us convidem a conèixer més sobre les nostres solucions de ciberseguretat i intel·ligència artificial per descobrir com podem optimitzar els vostres sistemes de QA.
