.jpg)
En el procesamiento de lenguaje natural, la tokenización es el primer paso crítico para entender textos. Sin embargo, los métodos estadísticos tradicionales, como Byte-Pair Encoding, optimizan la compresión del vocabulario pero son ciegos a la semántica de las entidades técnicas: fragmentan números, unidades de medida y expresiones simbólicas en subpalabras sin sentido. Esto genera errores al extraer datos de documentación científica, informes de ingeniería o bases de conocimiento. Frente a esto, TOTEN (Tokenización Ontológica de Entidades Técnicas) propone un cambio de paradigma: reemplazar la derivación estadística por una clasificación declarativa basada en una ontología formal de entidades de ingeniería. El framework se estructura como una tripleta: una ontología que define tipos, principios estructurales, relaciones de composición e invariantes preservables; una función de clasificación que mapea el texto plano en regiones tipificadas; y una familia de instanciadores que generan representaciones estructuradas autodescriptivas.
La robustez de TOTEN proviene de su acoplamiento determinista con tres oráculos externos: Pint (para análisis dimensional), la base de datos de caracteres Unicode (para tipografía) y RSLP (morfología del portugués). En la evaluación intrínseca se verifican cuatro propiedades: atomicidad ontológica, equivalencia dimensional, robustez tipográfica y reconstrucción numérica. Los resultados sobre el benchmark interno EngQuant (N=800) y cuatro corpus externos en portugués brasileño (N=1771 casos válidos) muestran que TOTEN alcanza una atomicidad ontológica unitaria en todos los contrastes y una reconstrucción numérica de 0,775-0,904 en corpus externos, frente a 0,627-0,703 del mejor baseline (Quantulum3); en EngQuant, 0,780 frente a 0,340. Las diferencias son estadísticamente significativas. La equivalencia dimensional además muestra paridad estadística con Pint, el oráculo del que hereda autoridad dimensional.
Esta tecnología es especialmente relevante en entornos donde la precisión en la extracción de datos científicos es crítica: laboratorios, organismos de normalización, empresas de farmacia, energía o manufactura. En Q2BSTUDIO, empresa especializada en desarrollo de aplicaciones a medida y soluciones de inteligencia artificial para empresas, integramos enfoques ontológicos como TOTEN en plataformas de procesamiento documental. Combinamos agentes IA con sistemas de tokenización semántica para interpretar con exactitud informes técnicos, normativas o literatura científica. Además, desplegamos estas soluciones en servicios cloud AWS y Azure, garantizando escalabilidad y disponibilidad. La ciberseguridad es un pilar transversal en cada implementación, protegiendo el flujo de datos sensibles. Finalmente, los datos extraídos se visualizan en paneles de Power BI, ofreciendo servicios de inteligencia de negocio que transforman información técnica en decisiones estratégicas.
