.jpg)
El mes pasado vi una canalizacion RAG gastar 1940 en un solo fin de semana por usar JSON clasico en una tabla de 500 filas. Exactamente los mismos datos habrian costado 760 en TOON con el mismo modelo, las mismas respuestas y la misma latencia. 61% menos tokens. Ese tipo de sorpresa sucede cuando se añade un campo mas al payload y el contador de tokens se dispara. Muchos desarrolladores parchean este problema porque JSON ha sido el estandar durante veinte anos, pero olvidan un detalle clave: JSON nacio en 2001 para intercambios entre navegadores y servidores, no para modelos de lenguaje que cobran por token. Cada clave entre comillas y cada llave repetida tiene sentido en un contexto sin precio por inferencia. En 2025 esos simbolos cuestan dinero real.
TOON Token Optimized Object Notation es una representacion textual intercambiable que mantiene el modelo de datos de JSON incluyendo objetos, arreglos, cadenas, numeros, booleanos y nulos, pero reduce la puntuacion y la repeticion que inflan el recuento de tokens dentro de prompts para LLM. En lugar de envolver cada objeto con llaves y repetir claves en cada fila, TOON:
usa indentacion en lugar de llaves y comas declara la estructura de arreglos de forma previa para que los campos no se repitan preserva orden y esquema de forma explicita permite streaming en lineas facil para pipelines RAG round trip lossless a JSON
La idea central es optimizar para el tokenizador y no para los parsers tradicionales. En JSON cada comilla, dos puntos, coma o llave es a menudo tokenizada como fragmentos distintos, y al repetir la misma estructura cientos de veces el modelo procesa mucho ruido sintactico que no aporta nueva informacion. TOON reordena la misma semantica en un formato lineal e indentado que reduce caracteres sintacticos y favorece la fusion de tokens alfanumericos.
Principales mecanismos
Indentacion como jerarquia En lugar de depender de simbolos para el ambito TOON usa niveles de indentacion. Dos espacios representan un nivel de anidamiento y cada clave que introduce un objeto hijo comienza en una nueva linea. Esto permite un parseo determinista basado en niveles de indentacion y reduce significativamente la puntuacion repetida.
Cabeceras para arreglos uniformes En arreglos donde cada elemento es un objeto con el mismo conjunto de claves, TOON extrae la forma en una sola declaracion indicando orden de campos y numero de filas. Asi los nombres de clave aparecen una vez y luego vienen solo los valores en filas tipo tupla. En conjuntos largos este cambio reduce tokens de forma casi lineal con la longitud del arreglo.
Esquema y cardinalidad en el prompt TOON expone estructura: un indicador de cantidad de filas y un orden de columnas estatico guian al modelo. Si el modelo inventa una fila extra o desplaza un campo la inconsistencia queda visible, lo que reduce alucinaciones en reconstruccion de tablas, grounding para RAG y respuestas que deben devolver JSON valido.
Optimizado para tokenizadores Los tokenizadores BPE y unigram no tratan caracteristicas estructurales como unidades neutras. TOON aprovecha que claves alfanumericas tendran a mapearse a tokens mas largos y que patrones tipo CSV promueven reutilizacion de tokens. En pruebas reales un dataset de 100 filas que en JSON minificado consumia aproximadamente 2540 tokens paso a 1020 tokens en su equivalente TOON con la misma semantica.
Round trip determinista y streaming El encoder es una capa de transformacion pura que no comprime ni interpreta valores. La decodificacion restaura JSON byte por byte salvo variaciones de espacios. Ademas se puede emitir en lineas para inyectar contextos incrementalmente en pipelines RAG sin materializar el documento entero en memoria.
Fail loud no silent errors JSON tolera constructos fragiles que un modelo puede replicar y devolver resultados aparentemente correctos pero semanticos rotos. TOON es estricto: una mala indentacion o un conteo de filas mismatched se detectan facilmente. El formato obliga a que el error salte y no quede oculto en la salida del modelo.
Resultados practicos y benchmarks En un banco de pruebas con 209 tareas de extraccion estructurada y cuatro familias de modelos actuales los resultados promedio mostraron reducciones de tokens y mejoras en eficiencia coste. En cargas con arreglos uniformes un dataset de 500 pedidos que necesitaba 11842 tokens en JSON requirio solo 4617 tokens en TOON, una reduccion del 61%. En ejemplo de producción con 1000 llamadas diarias esto puede suponer ahorros de miles de dolares al mes. Ademas la exactitud de reconstruccion aumento en varios casos gracias a la alineacion explicita de campos y conteos.
Adopcion en produccion Normalmente no hace falta reescribir la pila. JSON sigue siendo la fuente de verdad en bases y APIs. La conversion a TOON ocurre en el momento de preparar el input para el modelo. Asi se elimina la sobrecarga que solo existe dentro de prompts. Sistemas de agentes se benefician de menor riesgo de desalineacion entre pasos y pipelines de streaming ganan rapidez porque no esperan cierres de llaves o corchetes.
Cuando usar TOON y cuando seguir con JSON TOON es mas efectivo cuando el modelo lee grandes colecciones de registros con estructura repetitiva y hay presion en costos de tokens. Datos complejos e irregulares obtienen menos ahorro porque tienen poca estructura repetible. Fuera del contexto de prompts JSON sigue siendo ideal para almacenamiento, APIs y logging donde el coste por token no aplica. La recomendacion practica es medir tokens reales y realizar pruebas con sus propias cargas.
Sobre Q2BSTUDIO En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones que integran inteligencia artificial, ciberseguridad y servicios cloud aws y azure. Ayudamos a empresas a optimizar sus pipelines de datos y reducir costes de inferencia mediante buenas practicas en formato de datos y arquitecturas de IA para empresas. Si necesita soluciones de software a medida o modernizar su plataforma para aprovechar formatos como TOON puede conocer nuestros servicios de desarrollo en aplicaciones a medida y software a medida y descubrir como aplicamos inteligencia artificial industrial en proyectos de IA para empresas.
Servicios complementarios y palabras clave Q2BSTUDIO tambien ofrece servicios de ciberseguridad y pentesting para proteger pipelines de datos, servicios cloud en AWS y Azure, servicios inteligencia de negocio y despliegues con power bi, automatizacion de procesos, implementacion de agentes IA y arquitecturas seguras de ia para empresas. Estas competencias permiten no solo ahorrar en coste por token sino garantizar integridad, confidencialidad y disponibilidad en soluciones productivas.
Conclusion Cambiar la forma en que mostramos los mismos datos puede traducirse en reducciones significativas de coste y en mejoras de precision cuando trabajamos con LLM. TOON no cambia la informacion, cambia la sintaxis para que el modelo tenga menos ruido y mas contexto util. Para equipos preocupados por facturas de inferencia, latencia y calidad de extraccion, TOON es una alternativa pragmatica y no disruptiva. Si quiere evaluar ahorro y mejoras en su arquitectura de IA empresarial contacte con Q2BSTUDIO para un estudio personalizado y pruebas con sus propios datasets.
