Hoy en día muchas personas están usando LLMs locales como Ollama para tareas diarias. Sin embargo, cuanto más se utilizan estos modelos en local, más probable es que aparezcan problemas de rendimiento. Antes de culpar al hardware, realiza comprobaciones básicas para sacar el máximo rendimiento a tu sistema.
Empieza por lo básico: el calor está matando la velocidad de Ollama
Si usas GPU NVIDIA, abre una segunda terminal y ejecuta nvidia-smi -l 1 mientras Ollama genera texto. El interruptor -l 1 actualiza cada segundo para que veas cambios en tiempo real. Con el sistema en reposo podrías ver algo así: temperatura alrededor de 52 C indica GPU fría y en buen estado, estado P8 revela bajo consumo y casi inactividad, 355MiB de 4096MiB de VRAM indica memoria disponible y 13 por ciento de uso GPU muestra poca carga. Bajo presión extrema podrías ver: Temp 86 C zona de peligro, las laptops NVIDIA suelen throttlear sobre 85 87 C para proteger el hardware; Perf P0 modo de máximo rendimiento pero combinado con alta temperatura hace que las frecuencias se reduzcan; Pwr 42W 30W indicando que está por encima del límite de potencia y por tanto limitado por energía y temperatura; GPU-Util 100 por ciento pero tokens por segundo lentos porque los relojes han caído; memoria casi llena con presión de VRAM que provoca swapping y lentitud adicional. Cuando la GPU alcanza alrededor de 85 C el firmware reduce clocks: la GPU puede marcar 100 por ciento de uso pero la velocidad de computación cae y tokens por segundo pueden pasar de 35 a 12 aún con nvidia-smi aparentemente ocupado.
Qué significan los Perf states
P0 modo de más alto rendimiento permite que la GPU funcione a máxima velocidad. P2 alto rendimiento ligeramente reducido pero aún potente. P5 rendimiento medio equilibrio para cargas ligeras. P8 idle bajo consumo GPU mayormente en reposo. En resumen números más bajos significan mayor rendimiento. Incluso en P0, límites térmicos y de potencia pueden reducir el rendimiento real.
Arreglos rápidos que puedes probar
Usa una base refrigerante puede bajar temperaturas 5 8 C casi de inmediato. Eleva la parte trasera del portátil sube 2 5 cm para mejorar el flujo de aire. Objetivo de temperatura mantiene entre 75 82 C con menos del 85 por ciento de uso de VRAM para rendimiento estable. Si la VRAM se llena, considera reducir el tamaño de lote o cambiar a un modelo más quantizado.
Profundiza en el modelo: revisa la cuantización
Otro punto clave es verificar si el modelo está cuantizado al nivel correcto. Un LLM es básicamente una enorme colección de números llamados pesos. El número de bits determina la precisión con la que se guarda cada peso. Por defecto muchos modelos usan FP16 16 bits que ofrecen alta precisión pero requieren mucha memoria y cómputo. La cuantización reduce esa precisión usando menos bits, haciendo el modelo más pequeño y rápido con una pérdida mínima de calidad. Ejemplos: FP16 16 bits tamaño original. Q8_0 8 bits. Q4_K_M 4 bits punto intermedio ideal para muchos usuarios. Q2_K 2 bits máximo ahorro a costa de precisión. Normalmente el nivel de cuantización aparece en el nombre del modelo. Por ejemplo en Ollama: llama3:8b-q4_K_M 8B params Q4_K_M, mistral:7b-q8_0 7B params Q8_0, gemma2:9b suele venir en FP16. Recomendación práctica Q4_K_M suele ofrecer el mejor balance entre VRAM baja y buena calidad; Q5_K_M si buscas calidad algo mejor; Q8_0 para máxima precisión cuando hay VRAM suficiente.
Comparativa de formatos
Q4_K_M 4 bits VRAM baja calidad muy buena recomendado para la mayoría. Q5_K_M 5 bits VRAM media calidad excelente para enfoque en calidad. Q8_0 8 bits VRAM alta calidad casi perfecta para tareas de precisión. FP16 16 bits VRAM mayor calidad original requiere GPUs grandes.
¿Se puede cachear algo? Aprovecha caches KV
Usa efectivamente las caches KV para diálogos largos o contextos frecuentes. Un KV cache bien aprovechado evita recomputar partes del contexto y mejora tokens por segundo. Si hay swapping por falta de VRAM, revisa reducir contexto o mover partes cacheables a memoria persistente optimizada.
Pasos de diagnóstico rápido
1 Comprueba temperaturas y estados con nvidia-smi -l 1. 2 Observa VRAM y evita llegar al 90 por ciento. 3 Valora cambiar la cuantización a Q4_K_M si estás en FP16 y necesitas más velocidad. 4 Habilita KV caching cuando el flujo de trabajo lo permita. 5 Si usas portátil aplica soluciones físicas refrigerante o elevación y valida electricidad y perfil de energía.
Cómo puede ayudar Q2BSTUDIO
En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida que ofrece soluciones para optimizar despliegues de LLM locales y en la nube. Nuestros expertos en inteligencia artificial implementan estrategias de cuantización, gestión de memoria y caches para acelerar modelos, además de integrar agentes IA y soluciones de ia para empresas. Si necesitas adaptar un flujo de inferencia a medida o desplegar una solución escalable podemos ayudarte con servicios de inteligencia artificial y diseño de agentes IA. También desarrollamos software a medida y aplicaciones a medida para integrar LLMs en tus procesos, puedes conocer más sobre nuestro enfoque en desarrollo de aplicaciones y software multiplataforma.
Además ofrecemos ciberseguridad y pentesting para proteger despliegues de IA, servicios cloud aws y azure para escalar modelos de forma segura, y servicios inteligencia de negocio y power bi para explotar los resultados generados por IA en decisiones empresariales. Si quieres que evaluemos tu infraestructura local y propongamos un plan de optimización contacta con Q2BSTUDIO; optimizamos desde el hardware y la configuración térmica hasta la cuantización y la integración en la nube para obtener el mejor rendimiento.