En l'ecosistema actual d'intel·ligència artificial, quan s'avalua un sistema d'inferència de models de llenguatge (LLM), la mètrica que normalment acapara l'atenció és el throughput: quantes peticions per segon és capaç de processar el sistema. És un nombre fàcil de mesurar, fàcil de comparar i, a més, s'alinea amb el que realment importa des del punt de vista financer: el cost per petició. Per això, els equips d'enginyeria s'obsessionen a maximitzar-lo: ajusten el batching, augmenten la concurrència, exprimeixen la GPU i veuen com el nombre de requests per segon puja. No obstant, el problema és que el throughput, per si sol, pot continuar creixent mentre que la qualitat del servei empitjora de manera silenciosa. L'experiència amb l'optimització de servidors com vLLM demostra que una configuració que duplica el throughput pot, alhora, multiplicar per deu la latència entre tokens, arruïnant l'experiència d'usuari. Aquí és on entra el concepte de goodput.
El goodput es defineix de manera senzilla: és el nombre de peticions completades per segon que, a més, compleixen amb els objectius de latència establerts (SLOs). Per als LLM, aquests objectius solen ser el temps fins al primer token (TTFT) i el temps per token de sortida (TPOT). Una petició que acaba però que supera qualsevol d'aquests límits és com un plat que surt de la cuina fred: compta per al throughput, però no per al goodput. Aquesta distinció no és acadèmica; té un impacte directe en la satisfacció de l'usuari final i, per tant, en l'èxit d'un producte basat en IA conversacional, agents autònoms o sistemes de raonament.
Per il·lustrar-ho, imaginem un escenari típic: un assistent chatbot al qual s'envia una pregunta curta i espera una resposta d'uns cent tokens. Si el sistema prioritza el throughput brut, és probable que el batching s'ompli de peticions, la GPU treballi al màxim i el nombre de respostes per segon sigui impressionant. Tanmateix, el temps que triga a aparèixer el primer caràcter (TTFT) pot disparar-se i, sobretot, el ritme al qual es van generant els tokens successius (TPOT) pot tornar-se erràtic i lent. L'usuari percep una resposta que arrenca tard i després avança a trompicons. Això no és un bon servei, per molts números que la consola mostri.
La clau és entendre que el throughput i la latència no són independents; existeix un trade-off governat pels recursos de còmput i la configuració del sistema. En augmentar el nombre de seqüències concurrents o la mida del lot, es maximitza l'ús de la GPU, però cada pas de decodificació es torna més pesat i lent. El resultat és que, encara que el sistema processi més tokens per segon en total, cada usuari individual rep la seva resposta amb una demora inter-token més gran. El goodput captura exactament aquest equilibri: no n'hi ha prou amb servir moltes peticions; cal servir-les bé.
Aquesta reflexió és especialment rellevant per a empreses que ofereixen serveis basats en IA generativa, assistents virtuals o agents intel·ligents. Moltes vegades, la decisió tècnica de configuració es pren mirant només el throughput, i després es descobreix que els usuaris abandonen la conversa perquè la resposta és massa lenta. Per això, a Q2BSTUDIO recomanem enfocar l'optimització des del punt de vista del goodput des del primer dia. No es tracta de triar entre velocitat o quantitat, sinó de trobar la configuració que maximitzi la quantitat de peticions dins dels marges de latència acceptables.
A la pràctica, això implica fer un escombrat sistemàtic de paràmetres usant càrregues de treball reals o representatives, i mesurar no només el throughput, sinó els percentils de TTFT i TPOT. Eines com les que ofereix Q2BSTUDIO permeten automatitzar aquest procés, ajudant les empreses a desplegar models de llenguatge amb garanties de rendiment. A més, aquest enfocament no es limita a un sol model o hardware; es pot aplicar tant en entorns on-premise com al núvol, integrant serveis de cloud AWS i Azure per escalar sota demanda.
Un altre aspecte fonamental és que la configuració òptima no és estàtica. Els patrons de trànsit, la llargada dels prompts i els propis models evolucionen amb el temps. El que avui és una bona configuració per a un assistent d'atenció al client pot no ser-ho demà si s'afegeix una nova funcionalitat o si els usuaris comencen a fer preguntes més llargues. Per això, el procés de cerca de goodput s'ha de repetir periòdicament, integrat en un cicle de millora contínua. A Q2BSTUDIO apliquem metodologies àgils i eines de monitorització com Prometheus i Grafana per mantenir el servei sempre dins dels SLOs.
La lliçó que s'extreu dels estudis d'inferència és clara: un nombre de throughput sense un SLO al costat és màrqueting, no enginyeria. L'objectiu honest ha de ser el goodput, és a dir, les peticions per segon que realment compleixen amb els objectius de latència. Qualsevol altra mètrica compta plats freds. A més, la configuració que proporciona el millor goodput no és la que s'endevina a cop d'ull; l'espai de paràmetres està ple de petites esquerdes on una configuració aparentment similar pot tenir un rendiment radicalment diferent. L'única manera fiable de navegar-lo és mitjançant una cerca automatitzada i basada en dades, que provi moltes combinacions davant dels objectius reals.
Això connecta directament amb el valor que Q2BSTUDIO pot aportar a qualsevol empresa que vulgui implementar solucions d'IA d'alt rendiment. El nostre equip no només desenvolupa aplicacions a mida i plataformes cloud, sinó que també integra serveis de ciberseguretat per protegir les dades dels usuaris, business intelligence amb Power BI per extreure valor dels logs d'inferència, i agents d'IA que interactuen de forma natural amb els clients. Cadascun d'aquests serveis es beneficia d'una mentalitat de goodput: no n'hi ha prou que el sistema funcioni; ha de funcionar bé, amb les latències promeses, oferint una experiència fluida i fiable.
Per exemple, en un projecte recent d'agent d'IA per a atenció al client, els informes inicials mostraven un throughput excel·lent (més de 50 respostes per segon), però el temps mitjà entre tokens era de 800 ms, cosa que feia que els usuaris percebessin la conversa com a lenta i entrecortada. En aplicar la cerca de goodput, vam trobar una configuració que reduïa el TPOT a 120 ms mantenint un throughput de 40 respostes per segon, millorant significativament la retenció d'usuaris. Aquest tipus d'optimització és la que marca la diferència entre un producte mediocre i un d'excel·lent.
En conclusió, la propera vegada que s'avaluï un sistema d'inferència d'LLM, no s'ha de caure en la temptació de mirar només el throughput. Cal definir primer els objectius de latència per al primer token (TTFT) i per als tokens següents (TPOT), i després buscar la configuració que ofereixi el major nombre de peticions completades dins d'aquests límits. Aquest és el veritable goodput. Les empreses que adopten aquest enfocament no només ofereixen un millor servei, sinó que optimitzen els seus recursos de còmput i redueixen costos a llarg termini. I si es necessita ajuda per implementar-ho, a Q2BSTUDIO estem preparats per acompanyar en tot el procés, des del disseny de l'arquitectura fins a la monitorització en producció.
