En el ámbito de la simulación científica, la inteligencia artificial está empezando a transformar la forma en que se modelan fenómenos complejos como el transporte de radiación. Sin embargo, para que los modelos generativos sean realmente útiles en entornos de producción, es necesario contar con benchmarks rigurosos que evalúen no solo la capacidad de generar código sintácticamente correcto, sino también la precisión física de los resultados. En este contexto nace PHITSBench, un benchmark diseñado específicamente para medir el rendimiento de modelos de IA en la generación y modificación de simulaciones con el código PHITS (Particle and Heavy Ion Transport code System). A lo largo de este artículo exploramos qué es PHITSBench, qué revelan sus primeros resultados y cómo las empresas de desarrollo de software como Q2BSTUDIO pueden ayudar a integrar estas capacidades en soluciones reales, combinando aplicaciones a medida, cloud computing, ciberseguridad, Business Intelligence y agentes de IA.
PHITSBench se compone de 282 tareas que cubren tres categorías principales de flujo de trabajo: edición de parámetros (Edit), reparación de sintaxis (Repair) y generación completa de simulaciones a partir de descripciones en lenguaje natural (Reproduce). Cada tarea se evalúa mediante una métrica compuesta que combina el éxito de ejecución con la concordancia entre los observables de transporte generados y los de referencia. Esta aproximación permite medir tanto la corrección sintáctica como la validez física de las simulaciones producidas por el modelo. Las pruebas se realizaron con configuraciones basadas en GPT-5.4, desde prompting zero-shot hasta flujos aumentados con conocimiento y agentes autónomos.
Los resultados iniciales son reveladores: en ausencia de conocimiento específico del dominio, el modelo logra un 95% de éxito en tareas de edición y un 70% en reparación, pero fracasa por completo en la generación desde cero (0% en Reproduce). Esto muestra que, aunque los grandes modelos de lenguaje pueden manipular código existente con cierta soltura, carecen del conocimiento profundo necesario para construir simulaciones completas y físicamente coherentes. Sin embargo, cuando se proporciona un catálogo estructurado de conocimiento de PHITS en formato legible por máquina —junto con el manual de usuario— el éxito en Reproduce salta al 57%. La ejecución mediante agentes lo eleva hasta el 73%, aunque a costa de un mayor coste computacional.
El análisis de fallos revela que los errores restantes no son principalmente de sintaxis, sino de selección y configuración incorrecta de los observables físicos. Es decir, el modelo sabe cómo escribir el código, pero no qué parámetros físicos elegir para que la simulación tenga sentido. Esta observación es clave: la próxima frontera en la simulación asistida por IA no pasa solo por mejorar los modelos fundacionales, sino por construir bases de conocimiento legibles por máquina, conjuntos de datos de entrenamiento curados y entornos de evaluación basados en ejecución real.
Para las empresas que trabajan con simulaciones científicas o industriales, estos hallazgos tienen implicaciones directas. La integración de IA en procesos de simulación requiere algo más que un modelo de lenguaje: necesita una infraestructura de software sólida, capaz de gestionar datos, ejecutar simulaciones en la nube, garantizar la seguridad de los sistemas y extraer conclusiones de los resultados. Aquí es donde entran en juego las capacidades de IA y cloud AWS/Azure que ofrece Q2BSTUDIO.
Q2BSTUDIO es una empresa de desarrollo de software y tecnología especializada en crear aplicaciones a medida que se adaptan a las necesidades específicas de cada organización. En el contexto de la simulación de transporte de radiación, por ejemplo, podríamos desarrollar una plataforma que combine un frontend intuitivo para describir escenarios en lenguaje natural, un backend que invoque modelos de IA como los evaluados en PHITSBench, y un motor de ejecución en la nube que lance las simulaciones en AWS o Azure. Todo ello integrado con sistemas de ciberseguridad para proteger los datos sensibles y con dashboards de BI/Power BI para visualizar los resultados de forma interactiva.
La creación de agentes IA es otra área donde Q2BSTUDIO puede marcar la diferencia. Los agentes autónomos, como los que se probaron en PHITSBench, pueden iterar sobre las simulaciones, corregir errores y optimizar parámetros, pero requieren una orquestación cuidadosa y un conocimiento del dominio que debe ser codificado en reglas o bases de conocimiento. Nuestro equipo puede diseñar e implementar estos agentes, integrándolos con catálogos de conocimiento estructurado y APIs de simulación.
Además, la experiencia de Q2BSTUDIO en aplicaciones a medida / custom software permite construir soluciones completas que no solo ejecuten simulaciones, sino que también gestionen el ciclo de vida completo: desde la ingesta de datos de entrada hasta la publicación de resultados, pasando por el control de versiones de los scripts, la monitorización de costes en la nube y la auditoría de seguridad. Todo ello siguiendo las mejores prácticas de desarrollo de software y metodologías ágiles.
Volviendo a PHITSBench, el hecho de que los errores se concentren en la elección de observables físicos subraya la importancia de contar con bases de conocimiento especializadas. En Q2BSTUDIO, podemos ayudar a las organizaciones a construir estas bases, extrayendo conocimiento de manuales técnicos, artículos científicos y datos históricos, y estructurándolos en formatos que los modelos de IA puedan consumir (como grafos de conocimiento o embeddings). Esto, combinado con la potencia de los modelos fundacionales y la escalabilidad de la nube, puede llevar la simulación asistida por IA a un nivel profesional.
Por último, no podemos olvidar la ciberseguridad. Las simulaciones de transporte de radiación pueden involucrar datos críticos o regulados, especialmente en entornos nucleares o médicos. Q2BSTUDIO implementa medidas de seguridad en todas las capas: desde el cifrado de datos en reposo y en tránsito hasta la autenticación multifactor y la segmentación de redes en la nube. Nuestro servicio de ciberseguridad incluye auditorías y pruebas de penetración para garantizar que la infraestructura sea robusta frente a amenazas.
En conclusión, PHITSBench representa un avance significativo en la evaluación de modelos de IA para simulación científica. Sus resultados demuestran que, si bien los modelos de lenguaje son poderosos, necesitan un ecosistema de soporte que incluya bases de conocimiento, ejecución en la nube y agentes inteligentes. Q2BSTUDIO está preparada para proporcionar ese ecosistema, combinando su experiencia en aplicaciones a medida, cloud AWS/Azure, ciberseguridad, BI/Power BI y agentes IA para ayudar a las empresas a aprovechar todo el potencial de la simulación asistida por IA, ya sea en transporte de radiación o en cualquier otro campo técnico. El futuro de la simulación no es solo más inteligencia artificial, sino una integración inteligente de herramientas, datos y conocimiento.
