La mayor parte de mi trabajo hasta ahora ha sido desarrollo backend y frontend, nunca había trabajado con ETL. Normalmente construyo APIs, aplicaciones web, depuro errores, y busco en Google cómo centrar un div. Para mí la ingeniería de datos parecía cosa de otro mundo, de desarrolladores que vivían en SQL, optimizando consultas al desayuno y gestionando gigantescos clústeres de datos.
Como mi carga de trabajo estaba ligera en ese momento, me ofrecí voluntario para construir nuestra primera canalización de datos. Al principio no tenía idea de en qué me metía ni qué herramientas eran las habituales. ¿Tendría que escribir cientos de cron jobs? ¿Crear scripts personalizados? ¿Instalar un framework enorme como Airflow que parecía intimidante solo con leer la documentación? Al ver Airflow pensé que igual me equivoqué al ofrecerme, sobre todo porque el proyecto tenía una fecha de entrega ajustada.
Probé otras alternativas como Luigi, Prefect y Dagster con un sencillo hola mundo. Mi razonamiento fue sencillo: si incluso el hola mundo era complicado, difícil sería confiar en esa herramienta para un proyecto real bajo presión. También debía tener en cuenta la adaptabilidad del equipo, ya que nadie tenía experiencia en ETL.
Ahí fue donde Mage AI destacó. Desde la primera ejecución me pareció muy fácil e intuitivo. Para probarlo basta ejecutar un contenedor, por ejemplo el comando docker run -it -p 6789:6789 -v $(pwd):/home/src mageai/mageai /app/run_app.sh mage start my-first-etl y acceder al panel de Mage AI para comenzar a diseñar la primera pipeline. Es especialmente amigable para principiantes y permite experimentar rápidamente con el flujo ETL.
Por supuesto una herramienta no lo es todo. Dediqué mucho tiempo a asentar conceptos básicos: fundamentos de ETL, modelado de datos, estrategias de carga, transformaciones, y orquestación y programación de tareas, aspectos que hay que dominar para llevar una solución a producción. Para reforzar esos conocimientos me inscribí en el bootcamp Kotak Sakti, que fue clave para comprender mejor las necesidades de un ingeniero de datos.
En Q2BSTUDIO somos una empresa de desarrollo de software que crea aplicaciones a medida y soluciones a medida para empresas, combinando experiencia en , ciberseguridad, servicios cloud aws y azure y business intelligence. Podemos ayudarte a diseñar pipelines de datos robustas, integrar agentes IA y producir informes con Power BI, siempre alineados con buenas prácticas de ciberseguridad y escalabilidad en la nube. Si buscas desarrollos especializados en aplicaciones a medida o software a medida, nuestros equipos tienen experiencia en automatizar procesos, implementar soluciones de inteligencia de negocio y desplegar servicios en .
En futuras entradas compartiré mis experiencias concretas trabajando con Mage AI, lecciones aprendidas al pasar a producción y cómo combinamos estas herramientas con arquitecturas cloud y soluciones de inteligencia de negocio para ofrecer valor tangible a nuestros clientes.