Cómo construí una extensión de Chrome que equilibra la IA local y en la nube

Chrome pasó desapercibido al lanzar algo enorme: IA integrada que se ejecuta completamente en el dispositivo con Gemini Nano. Vive dentro del navegador, sin instalaciones adicionales ni llamadas de red, lo que abre posibilidades reales de privacidad y rendimiento local. Para poner a prueba ese motor local en un producto real desarrollé DocuMentor AI, una extensión de Chrome que ayuda a desarrolladores a aprender de contenido técnico ofreciendo resúmenes inteligentes, señales de tipo debo leer esto y recursos de aprendizaje curados. En producción la extensión funciona en dos frentes: la IA local de Chrome Gemini Nano para un modo privacidad primero y ligada al dispositivo, y un backend en la nube para mayor velocidad y capacidad, y el sistema elige automáticamente la ruta adecuada.

El desafío central es que hay dos tipos de IA con capacidades muy distintas. Muchos modelos en la nube ofrecen un endpoint genérico para chat y esperan que todo se resuelva con ingeniería de prompts y herramientas. La IA integrada en Chrome expone APIs especializadas como Summarizer para TL;DR y puntos clave, Writer para generación de contenido y LanguageModel para prompts y chat generales. Si intentas ocultar todo eso detrás de una sola función generate un lado, local o nube, siempre se sentirá forzado. En lugar de abstraer por modelo, la solución fue abstraer por característica.

Diseñé una interfaz pequeña dentro de la extensión que describe lo que el sistema puede hacer, no cómo funciona cada proveedor: summarize(text options) executePrompt(messages options) write(content options) isAvailable initialize. Detrás de esa interfaz añadí dos proveedores: GeminiNanoProvider que envuelve las APIs locales de Summarizer LanguageModel y Writer, y DocumentorAIProvider que habla con un backend en la nube que usa un LLM y prompt engineering para reproducir esas mismas capacidades. La selección del proveedor es simple: usuarios autenticados usan la nube por velocidad y mejor razonamiento, usuarios no autenticados usan la IA local por privacidad y funcionamiento sin conexión. No hay conmutación en mitad de sesión; el estado de autenticación decide el proveedor y eso mantiene la lógica de la extensión predecible.

Una vez que ambos proveedores coincidían en la interfaz surgió otra diferencia importante: capacidad y fiabilidad. Los modelos en la nube manejan flujos multi paso con herramientas en una sola llamada. Gemini Nano en el navegador no es fiable para eso, sobre todo en máquinas CPU only: le cuesta mantener contexto en muchos pasos, la invocación de herramientas es irregular y la salida estructurada en JSON no siempre es consistente. Por eso terminé con dos estrategias de orquestación distintas.

IA local: orquestación secuencial dirigida por la app. Para funciones como recomendaciones de vídeos de YouTube la ruta sólo con Chrome hace: pedir a Gemini Nano que genere una consulta de búsqueda, llamar a la API de YouTube desde el código, pedir a Gemini Nano que vuelva a puntuar y reescribir resultados, y parsear y reparar JSON de forma defensiva con reintentos. El modelo realiza tareas de razonamiento pequeñas y enfocadas mientras la extensión orquesta el resto.

IA en la nube: una llamada augmentada por herramientas. Para ese mismo caso la versión en nube envía un único prompt con tool calling donde el modelo analiza la página, invoca search_youtube, puntúa relevancia y devuelve los 3 mejores vídeos en JSON. El modelo actúa como planificador y ejecutor y la extensión solo lo llama y muestra el resultado. Mismo UX, dos estrategias internas: local es descomposición secuencial y nube es llamada única con herramientas.

Al ejecutar IA dentro del navegador hay que respetar límites típicamente ocultos en la nube. Manejar cuotas de tokens con measureInputUsage e inputQuota y truncar la entrada en lugar de confiar en que todo cabrá. Extraer contenido con herramientas como Mozilla Readability para eliminar ruido de navegación anuncios y pies de página y limitar el texto enviado a la IA a un tamaño razonable (aproximadamente 15K caracteres funcionó bien). Preferir secuencial sobre paralelismo: múltiples llamadas a la IA de Chrome en paralelo resultaron más lentas y frágiles. En la UX funciona muy bien dar primero un TL;DR rápido y dejar que los resultados más pesados lleguen después en streaming.

Los fallbacks son clave para que el usuario no tenga que decidir nada. La extensión implementa una cadena de fallback silenciosa: intentar primero la IA en la nube para la vía rápida y en cualquier fallo o sobrepaso de cuota retroceder a la IA local antes de mostrar un error. La interfaz nunca anuncia que está cambiando de proveedor; la experiencia se siente así: la mayor parte del tiempo respuestas rápidas en la nube y a veces respuestas más lentas pero funcionales en local.

Lecciones prácticas para tus proyectos de IA en Chrome: diseña alrededor de características y no de modelos, permite que los modelos en la nube manejen flujos complejos con muchas herramientas en una sola llamada, deja que la aplicación orqueste y mantén prompts pequeños en la IA local, trata como primeras clases las limitaciones on device tokens tamaño de contenido y paralelismo, y construye fallbacks para degradación suave en vez de errores duros.

En Q2BSTUDIO aplicamos estos mismos principios cuando creamos soluciones a medida: desarrollamos aplicaciones y software a medida que integran inteligencias locales y en la nube para equilibrar privacidad rendimiento y costes. Si tu empresa necesita una extensión similar o una plataforma que combine agentes IA con servicios cloud disponemos de experiencia en aplicaciones a medida y servicios cloud aws y azure para desplegar backends escalables. También somos especialistas en inteligencia artificial y ofrecemos servicios de ia para empresas que incluyen agentes IA y arquitecturas híbridas entre dispositivo y cloud. Si tu foco es la seguridad podemos integrar prácticas de ciberseguridad y pentesting desde el diseño para proteger datos sensibles.

Para proyectos que requieren integración con visualización y datos, en Q2BSTUDIO trabajamos con servicios de inteligencia de negocio y Power BI para convertir resultados de IA en paneles accionables. Si quieres explorar desarrollo de producto o una prueba de concepto consúltanos; podemos empezar con un análisis de requisitos y proponerte una arquitectura híbrida que combine privacidad on device y potencia en la nube.

Si te interesa ver ejemplos de aplicaciones que diseñamos visita nuestra página de desarrollo de aplicaciones y software a medida desarrollo de aplicaciones y software multiplataforma y para soluciones de IA empresariales revisa nuestros servicios de inteligencia artificial servicios de inteligencia artificial. En Q2BSTUDIO transformamos ideas en productos funcionales combinando experiencia en software a medida inteligencia artificial ciberseguridad y servicios cloud para que la complejidad técnica no sea un freno sino una ventaja competitiva.

Palabras clave integradas para SEO: aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi.