FreeEval presenta una arquitectura modular que es divideix en Mètodes d'Avaluació, Meta-Avaluació i Backends d'Inferència LLM. Els Mètodes d'Avaluació inclouen diversos conjunts de dades i mètodes implementats. La Meta-Avaluació garanteix la integritat i equitat en les avaluacions, proporcionant mètodes de detecció de contaminació de dades. Els Backends d'Inferència LLM actuen com la base computacional, permetent la inferència distribuïda i concurrent amb optimització de rendiment.
L'arquitectura modular de FreeEval està dissenyada per adaptar-se a l'evolució constant en l'avaluació de models de llenguatge. La seva implementació es basa en tres conceptes clau: step, dataset i config. Un step encapsula un mètode d'avaluació, tècnica d'augmentació de dades o lògica de càlcul de mètriques. Cada step té tres fases: preprocess, que carrega i prepara les dades; run, que executa la lògica principal; i postprocess, que interpreta resultats i allibera recursos.
Els dataset contenen les dades utilitzades en les avaluacions, gestionant el seu preprocessament i ajustos com few-shot settings, prompting i augmentació d'instàncies. La configuració config permet definir pipelines d'avaluació mitjançant fitxers amb tots els paràmetres necessaris, assegurant transparència i registre complet del procés.
Aquest enfocament modular permet reutilitzar dades de manera flexible i facilita als investigadors la incorporació de nous mètodes sense afectar l'estructura general del framework. En definir cada avaluador com una unitat independent, FreeEval promou la reutilització i mantenibilitat del codi. A més, elimina la necessitat d'escriure codi en Python per executar avaluacions, ja que tot es configura mitjançant fitxers de configuració.
En Q2BSTUDIO, entenem la importància de l'avaluació eficient i fiable de models de llenguatge i altres solucions basades en intel·ligència artificial. Com a empresa de desenvolupament i serveis tecnològics, oferim consultoria especialitzada i desenvolupem solucions personalitzades que responen a les necessitats tecnològiques dels nostres clients. El nostre equip està dedicat a la innovació, adaptant arquitectures modulars com FreeEval per millorar la precisió i escalabilitat dels nostres projectes.
