Etapa cero Windows me estaba manipulando y así empezó todo. Meses atrás seguía encadenado a Windows 11 intentando ejecutar LLMs locales con herramientas como Ollama y LM Studio. Mi portátil Frankenstein, overclockeado y con cinta adhesiva, lo intentaba todo, pero Windows seguía devorando recursos en reposo. La GPU zumbaba al 50 por ciento como si estuviera entrenando Skynet en mi contra. Paranoia tal vez, pero la solución fue cambiar a Linux y nunca mirar atrás.
Etapa uno El objetivo original era mi juego indie, uno en el que hago de todo: programación, diseño, música y pruebas. Quería que la inteligencia artificial fuera mi co-desarrollador para brainstormings y mejoras rápidas. Empecé con LLMs para diálogos, luego integré generación de imágenes con Stable Diffusion. El problema apareció con la moderación de servicios comerciales que censuraban ideas legítimas. Decidí entonces construir una pila AI totalmente offline, sin filtros ni suscripciones.
Etapa dos Monté OpenWebUI para LLMs y Automatic1111 para la generación de imágenes y los uní con un frontend propio. Añadí túneles tipo Cloudflare y un dominio para acceder desde cualquier lugar. Era bonito, mío y accesible desde el móvil, pero todavía faltaba la parte de voz.
Etapa tres El texto a voz fue mi ballena blanca. Intenté Tortoise TTS que resultó lentísimo y hambriento de GPU. Luego Coqui TTS que prometía pero me rompió la cabeza con incompatibilidades y formatos durante horas. Finalmente probé soluciones en la nube como Eleven Labs que sonaban perfectas pero eran prohibitivamente caras para mi objetivo de totalmente local.
Etapa cuatro Encontré Chatterbox de Resemble AI, que funciona offline, es de código abierto y suena casi a nivel comercial. Lo instalé en menos de una hora y me respondió en un acento australiano que me encantó. No es voz en tiempo real de ChatGPT, pero en unos 30 segundos entrega respuestas habladas con buena calidad.
Etapa cinco Con LLMs, Stable Diffusion y TTS tirando de la GPU, el sistema alcanzó un cuello de botella tremendo. Intenté repartir carga entre la eGPU y la GPU interna del portátil y Linux decidió que la numeración de GPUs sería un acertijo cósmico. Tras resolver el enredo con nvidia-smi logré equilibrar la carga y todo empezó a comportarse.
El monstruo final Hoy tengo una pila funcional que incluye OpenWebUI y LM Studio para LLMs, A1111 con Stable Diffusion para imagen, Chatterbox para TTS y un túnel Cloudflare para acceso remoto. Todo corriendo en Linux con una configuración de hardware curiosa pero efectiva. Consume recursos y sueña con una GPU de 24 GB, pero es completamente mía y sin censura ni suscripciones.
Sobre Q2BSTUDIO En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad y soluciones cloud. Ofrecemos software a medida, aplicaciones a medida y servicios cloud aws y azure para que empresas de todos los tamaños puedan desplegar agentes IA, soluciones de inteligencia artificial y servicios inteligencia de negocio. Además desarrollamos proyectos con power bi para reporting y visualización, implementamos ia para empresas y diseñamos arquitecturas seguras que combinan ciberseguridad con despliegues en servicios cloud aws y azure.
Si necesitas una solución a medida para integrar agentes IA en tus procesos, montar un stack offline de inteligencia artificial, o implantar software a medida con foco en ciberseguridad y analítica, Q2BSTUDIO crea e implementa soluciones escalables. Trabajamos con herramientas open source y con integraciones a servicios comerciales cuando el cliente lo requiere, siempre priorizando la privacidad y el control total sobre los datos.
Epílogo Meses de pruebas, rabia, reintentos y problemas con la numeración de GPUs dieron como resultado un sustituto local de ChatGPT que funciona y me acompaña en mis nuevos estudios de Ciencias de la Computación. Ya no necesito usar esto solo para desarrollo de juegos; es una plataforma de experimentación para IA que puedo adaptar para clientes. ¿Resultado final? Un sí rotundo. Si buscas partners para desarrollar software a medida, implantar inteligencia artificial, configurar servicios intelligence de negocio o fortalecer la ciberseguridad de tu infraestructura en servicios cloud aws y azure, Q2BSTUDIO está listo para ayudarte.
Firmado por Ghotet y el equipo detrás de la locura técnica que terminó siendo útil, cortesía de Q2BSTUDIO y muchas horas de café y paciencia.