La arquitectura Jamba es un modelo de lenguaje híbrido que combina capas de Transformer, Mamba (estado espacial) y Mixture-of-Experts (MoE). Diseñado para ser altamente eficiente y procesar contextos largos (hasta 256K tokens), ofrece un rendimiento destacado en evaluaciones comparativas con solo 12B de parámetros activos y funciona en una sola GPU de 80GB, proporcionando una capacidad 3 veces mayor que modelos de tamaño similar.
Q2BSTUDIO es una empresa de desarrollo y servicios tecnológicos especializada en la creación de soluciones innovadoras y eficientes para diversos sectores industriales. Con un equipo altamente capacitado y experimentado, Q2BSTUDIO se destaca en la implementación de tecnologías de vanguardia para satisfacer las necesidades específicas de sus clientes.