El desenvolupament de sistemes de conducció autònoma s'enfronta a un repte fonamental: la necessitat d'entrenar agents en entorns que siguin ràpids, realistes i diversos. Els simuladors tradicionals solen sacrificar un d'aquests aspectes; els basats en dades reals no tenen la varietat necessària per cobrir la cua llarga d'esdeveniments rars, mentre que els sintètics simplifiquen la física o les interaccions. TerraZero sorgeix com una solució que aborda aquest triple repte mitjançant simulació procedimental de conducció dissenyada per a l'autoaprenentatge a escala.
A diferència dels simuladors que depenen de registres de conducció reals per generar escenaris, TerraZero utilitza dades logueades únicament com a font de geometria de mapes reals. A partir d'aquí, pobla cada mapa amb usuaris de la carretera basats en regles aleatòries, controladors de senyals variables i paràmetres de dinàmica, recompenses i mides que canvien per episodi. Això permet que un sol mapa produeixi un nombre il·limitat de situacions, cobrint des de maniobres rutinàries fins a esdeveniments de risc extrem. És en aquesta capacitat de generar variacions infinites on resideix el seu poder per a l'entrenament per reforç.
El motor de simulació està escrit en C i executa la simulació en CPU mentre la inferència de polítiques es realitza en GPU mitjançant una ruta de zero còpies. Aquest disseny permet assolir 1,3 milions de passos d'agent per segon en una sola GPU de servidor, superant amb escreix els simuladors existents a nivell d'objectes. Però la velocitat no és l'única cosa important: TerraZero manté una fidelitat que altres sistemes monogent ometen, com agents heterogenis (cotxes, camions, vianants, ciclistes), múltiples models de dinàmica i aplicació completa de normes de trànsit. Tot això sense recórrer a demostracions humanes ni a planificadors de suport en inferència.
Les polítiques s'entrenen des de zero només amb aprenentatge per reforç i una recepta d'autoaprenentatge distribuïda a través de GPUs, sense cap demostració humana ni planificador de suport. Els resultats són notables: generalitzen sense entrenament previ a diferents ciutats i conjunts de dades, i fins i tot mostren comportaments emergents com conduir per l'esquerra sense supervisió explícita. Al exigent benchmark InterPlan, TerraZero es converteix en la primera política completament apresa que supera planificadors més grans i complexos. Al benchmark de conducció rutinària val14 obté les millors puntuacions en col·lisions i temps fins a la col·lisió, posicionant-se com l'opció més segura. A més, a Waymo Open Sim Agents, la mateixa recepta supera altres mètodes sense demostracions i competeix amb els millors basats en ancoratges de referència.
Aquest enfocament té implicacions profundes per a la indústria del vehicle autònom, però també per a qualsevol sector que requereixi simulació de sistemes multiagent amb aprenentatge continu. La clau està en la procedimentalització: en lloc de dependre de dades etiquetades o d'enginyeria manual d'escenaris, es genera variabilitat de forma algorítmica a partir de l'estructura del món real. Això redueix dràsticament el cost d'adquisició de dades i permet escalar l'entrenament a milions d'episodis.
A Q2BSTUDIO, entenem que la simulació procedimental i l'autoaprenentatge no són exclusius de la conducció autònoma. Moltes empreses necessiten entrenar agents intel·ligents per a entorns complexos, des de logística fins a robòtica o jocs. La nostra experiència en intel·ligència artificial i desenvolupament de programari a mida ens permet dissenyar simuladors que s'adapten a les necessitats específiques de cada client. Per exemple, combinem algorismes d'aprenentatge per reforç amb infraestructura al núvol per executar simulacions massives de forma eficient.
La infraestructura al núvol és un habilitador clau per a la simulació procedimental a gran escala. A Q2BSTUDIO oferim serveis de cloud AWS i Azure que permeten desplegar entorns de simulació elàstics, capaços d'escalar a centenars de GPUs per entrenar polítiques complexes. A més, la ciberseguretat és un aspecte crític en qualsevol sistema de simulació que manegi dades de sensors o models de conducció. Els nostres serveis de ciberseguretat i pentesting garanteixen que els entorns de simulació estiguin protegits davant d'intrusions, quelcom essencial quan es tracta de sistemes que eventualment operaran al món real.
Cada negoci té necessitats úniques de simulació. El nostre equip de desenvolupament de programari a mida crea solucions personalitzades que integren motors de simulació, models d'IA i pipelines de dades, replicant l'èxit de TerraZero en dominis específics. L'automatització de processos mitjançant agents IA és una altra àrea on la simulació procedimental resulta valuosa. Els nostres serveis d'automatització de processos permeten modelar sistemes multiagent i entrenar-los en entorns simulats abans de desplegar-los en producció.
La combinació de simulació procedimental, autoaprenentatge i cloud computing obre noves fronteres. Les empreses que adoptin aquestes tecnologies podran entrenar sistemes autònoms de forma més ràpida, segura i econòmica. El cas de TerraZero demostra que és possible superar les limitacions dels simuladors tradicionals mitjançant un disseny intel·ligent que aprofita la potència de càlcul moderna i l'aleatorietat controlada. Des de Q2BSTUDIO, oferim les eines i el coneixement perquè les organitzacions implementin els seus propis sistemes de simulació i autoaprenentatge, ja sigui en mobilitat, logística, finances o qualsevol altre àmbit que requereixi entrenar agents intel·ligents. Contacteu-nos per descobrir com podem ajudar-vos a fer el següent pas cap a l'autonomia intel·ligent.
