Per què Jamba és el primer LLM híbrid realment escalable per a contextos llargs

Q2BSTUDIO és una empresa de desenvolupament i serveis tecnològics que s'especialitza en la implementació de models de llenguatge de gran mida com Jamba. Jamba és una arquitectura híbrida que combina Transformer, Mamba i capes Mixture-of-Experts (MoE). Dissenyat per a una alta eficiència i processament de llarg context, Jamba pot gestionar fins a 256K tokens i aconsegueix un rendiment competitiu amb només 12B de paràmetres actius. A més, s'executa en una sola GPU de 80GB, oferint 3 vegades l'eficiència de models de mida similar.