Por qué creé FileSQL
Antes desarrollé dos herramientas CLI para ejecutar SQL sobre CSV y TSV llamadas sqly y sqluv. Al mantener ambos proyectos descubrí que repetía la misma lógica de manejo de archivos una y otra vez. La idea fue clara extraer esa capacidad en una biblioteca reutilizable.
La clave fue apoyarme en la interfaz estándar sql.DB de Go. Casi cualquier desarrollador Go sabe usar database/sql, así que al implementar esa interfaz, FileSQL se vuelve familiar y utilizable de inmediato para cualquiera que ya haya escrito código contra una base de datos en Go.
Durante el desarrollo de sqly y sqluv trabajé con CSV enormes que requerían transformaciones complejas. Importarlos a una base de datos real era excesivo y usar utilidades básicas era doloroso. FileSQL nace para que este tipo de tareas sea trivial y eficiente.
Cómo se utiliza
Un caso típico consiste en abrir varios archivos heterogéneos como CSV de ventas, Excel con el maestro de productos, Parquet de clientes y un TSV con regiones, y ejecutar una consulta SQL con múltiples uniones, filtros y agregaciones para obtener métricas mensuales por categoría, región y segmento de cliente. Todo ello sin mover datos a un servidor externo y con un flujo de trabajo idéntico al de cualquier sql.DB en Go.
Características principales
Formatos múltiples CSV, TSV, LTSV, Parquet y Excel XLSX consultables con SQL. Soporte de compresión automática para archivos .gz .bz2 .xz .zst. Procesamiento en streaming para manejar gigabytes de datos por lotes configurables. Fuentes de entrada flexibles archivos, directorios, io.Reader y embed.FS. Persistencia opcional de cambios de vuelta a los archivos con autosave.
Fase actual
Estoy centrado en corregir errores, reforzar la robustez y refactorizar para mejorar el mantenimiento. Con una base sólida, avanzaremos con nuevas capacidades hasta la versión v1.0.0. Puedes seguir la hoja de ruta en este issue. FileSQL empezó como una herramienta para inspeccionar archivos locales, pero la comunidad lo está usando para ETL y procesamiento serio de datos, así que el proyecto evoluciona para cubrir esas necesidades.
Súmate al viaje
Me gustaría construir FileSQL con la comunidad. Cuéntame tus retos con datos, envía ejemplos de CSV peculiares anonimizados, propone casos de uso, reporta errores, mejora la documentación o ayuda con código incluyendo el uso de LLMs. Incluso una simple estrella en GitHub ayuda muchísimo.
Metas personales
FileSQL forma parte de mi lista de objetivos alcanzar mil estrellas en GitHub con un proyecto propio y conseguir mi primer patrocinador en GitHub Sponsors. No son métricas de ego representan la validación de que la herramienta aporta valor real. Entre mis metas extratecnológicas también están poner una recreativa en mi habitación como la Picade y exhibir en el escritorio el set de mini yokan de 96 piezas de Toraya aquí.
Gracias
Gracias a quienes ya dieron estrella, abrieron issues o enviaron PRs. Hagamos que el procesamiento de archivos en Go sea absurdamente sencillo.
GitHub nao1215 filesql
Acerca de Q2BSTUDIO
En Q2BSTUDIO ayudamos a empresas a convertir datos en decisiones con soluciones de software a medida y aplicaciones a medida diseñadas para entornos críticos. Integramos motores SQL embebidos como FileSQL en pipelines de datos, cuadros de mando y automatización de procesos, conectándolos con servicios cloud aws y azure, servicios inteligencia de negocio y plataformas de visualización como power bi. Si buscas acelerar tus analíticas con un enfoque pragmático y seguro, descubre cómo impulsamos tus iniciativas de inteligencia de negocio en nuestra página de Business Intelligence y Power BI. Además, diseñamos e implementamos soluciones de inteligencia artificial y ia para empresas, desde asistentes y agentes IA que automatizan operaciones hasta modelos a medida integrados en tus sistemas. Cuando necesitas un partner tecnológico cercano que entienda tu negocio, confía en nuestro equipo de especialistas en software a medida, ciberseguridad y gobierno del dato. Conoce cómo abordamos proyectos complejos y multiplataforma en nuestra propuesta de desarrollo de aplicaciones y software a medida.
Palabras clave relacionadas aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi.