En el ámbito de la inteligencia artificial, la cuantificación de pesos y activaciones es una estrategia común para lograr un despliegue eficiente de modelos. Sin embargo, a veces se presentan valores atípicos que pueden amplificar errores de cuantificación de bajo bitaje. Ante esto, las mitigaciones basadas en transformaciones previas, como las rotaciones de Hadamard, han sido utilizadas, pero su eficacia óptima para la cuantificación ha sido un tema de debate.
En Q2BSTUDIO, empresa especializada en el desarrollo de aplicaciones a medida y software personalizado, se ha investigado y derivado transformaciones lineales óptimas por bloque para la cuantificación conjunta de pesos y activaciones, bajo cuantizadores por bloques escalados AbsMax de RTN estándar. Este enfoque abarca tanto formatos enteros como de punto flotante, y ha dado lugar a la construcción denominada WUSH.
WUSH combina una estructura de Hadamard con un componente de segundo momento dependiente de los datos, creando una transformación no ortogonal que se ha demostrado estar cerca de lo óptimo para cuantizadores de punto flotante e enteros bajo ciertas condiciones, al mismo tiempo que permite una implementación eficiente en GPU. Esta innovación ha mejorado la precisión en modelos como W4A4 en comparación con otras opciones basadas en Hadamard, como se ha podido comprobar empíricamente.
En el contexto de la cuantificación LLM, la utilización de transformaciones adaptativas como WUSH no solo mejora la precisión de los modelos, sino que también permite increíbles aumentos en el rendimiento por capa, superando incluso a formatos como BF16 a través de FP4 MatMul. Esto supone un avance significativo en la eficiencia y optimización de modelos de inteligencia artificial, con aplicaciones prácticas en una gran variedad de campos.
Si estás interesado en mejorar la eficiencia de tus modelos de inteligencia artificial, en Q2BSTUDIO ofrecemos servicios de desarrollo de software a medida, implementación de inteligencia artificial para empresas y soluciones en la nube con AWS y Azure. Contáctanos para conocer más sobre cómo nuestras soluciones pueden beneficiar tu negocio.
Para más información sobre nuestros servicios de desarrollo de aplicaciones a medida, visita Q2BSTUDIO - Desarrollo de aplicaciones a medida.
