El podcast Vector regresa con la temporada 4 y en este episodio Dmitry Kan entrevista a Simon Eskildsen, creador de Turbopuffer, una base de datos vectorial y motor de búsqueda que ya impulsa herramientas conocidas. Simon aporta una década de experiencia en Shopify escalando motores stateful como Elasticsearch, Redis y MySQL a escalas inmensas, logrando picos de hasta 1M reads/sec, y centra su propuesta en resolver la necesidad actual de conectar los tesoros de datos de las empresas con modelos LLM para analítica a gran escala sobre datos no estructurados.
Turbopuffer adopta una arquitectura híbrida que utiliza Object Storage como S3 GCS y Blob Storage para almacenar datos de cliente y vectores, cifrados con claves propias del cliente, mientras que la memoria RAM y unidades NVMe SSD actúan como caché para los datos que la aplicación usa realmente. La analogía con el pez globo refleja cómo la base de datos infla y desinfla esa capa de caché según el uso. Para reducir la latencia hacia Object Storage, Turbopuffer minimiza las idas y vueltas a 3 4 viajes, con latencias frías alrededor de 400 ms, y emplea técnicas como Range Fetch disponibles en AWS GCP y Azure para acelerar las lecturas en frío.
En cuanto a búsqueda vectorial, Turbopuffer utiliza el algoritmo SPFresh basado en índice por centroides. Los algoritmos basados en centroides encajan de forma natural con Object Storage porque reducen las rondas de acceso y permiten escrituras colocalizadas, resultado que coincide con experiencias previas en benchmarking ANN a escala de miles de millones de vectores. Simon subraya una idea clave para crear una compañía generacional de bases de datos: primero necesitas un nuevo workload, que hoy es la conexión masiva de datos empresariales con LLMs, y segundo necesitas una nueva arquitectura de almacenamiento que ofrezca un trade off significativamente mejor para ese workload.
En Q2BSTUDIO trabajamos precisamente en ayudar a empresas a aprovechar estas tecnologías emergentes. Desarrollamos aplicaciones a medida y software a medida que integran modelos de inteligencia artificial y agentes IA con infraestructuras escalables. Ofrecemos servicios de migración y operación en la nube para optimizar costes y rendimiento con proveedores líderes, si le interesa potenciar proyectos de IA en su organización consulte nuestros servicios cloud AWS y Azure en Servicios cloud AWS y Azure y descubra nuestras soluciones de inteligencia artificial para empresas en Inteligencia artificial.
Además entregamos servicios de ciberseguridad y pentesting para proteger sistemas que manejan datos sensibles, implementamos soluciones de inteligencia de negocio y Power BI para convertir datos en decisiones accionables, y desarrollamos automatizaciones y agentes IA que agilizan procesos críticos. Si su empresa busca integrar búsqueda vectorial, arquitecturas basadas en Object Storage, IA para empresas, o necesita consultoría en aplicaciones a medida, software a medida, ciberseguridad, servicios inteligencia de negocio, agentes IA y power bi, en Q2BSTUDIO podemos ayudar a diseñar e implementar la solución adecuada adaptada a su negocio.
El episodio con Simon está lleno de ideas prácticas y arquitectura aplicada para servir cargas de trabajo vectoriales de forma económica y escalable, una escucha recomendada para quien diseñe infraestructuras de datos modernas y soluciones basadas en LLMs.