Día 27 de mejora de mis habilidades en Ciencia de Datos
Hoy fue uno de esos días en los que sientes que entiendes algo hasta que los datos te muestran que estabas interpretándolo mal. Trabajé en web scraping más allá de la página principal: aprendí a navegar dentro de un sitio y a seguir enlaces entre páginas usando response.follow, lo que es como enseñar al scraper a hacer clic y explorar en profundidad en lugar de quedarse mirando solo la portada.
Después vino la parte de estadística y correlación. Hice diagramas de dispersión para ver relaciones antes de calcular nada, computé coeficientes de correlación para detectar relaciones lineales, apliqué transformaciones cuando los datos estaban sesgados y tracé líneas de tendencia para estimar dirección y fuerza. Todo muy útil, pero la lección más importante fue que correlación no implica causalidad.
Dos cosas pueden moverse juntas y no tener relación causal alguna. En el primer ejemplo imaginé un informe que mostraba que quienes toman más café tienen más cáncer de pulmón. Conclusión fácil si no se piensa: el café es el culpable. Pero al mirar más de cerca aparece un confusor: en ese conjunto de datos los grandes consumidores de café también eran fumadores. El café no provocó el cáncer, el tabaquismo sí. El café simplemente estuvo presente cuando ocurrió.
En el segundo ejemplo aparecen las ventas minoristas que suben cada diciembre. Parece que las fiestas causan el aumento, pero lo que realmente dispara las compras son las promociones, rebajas como Black Friday y envíos gratuitos. La festividad es solo el telón de fondo, las ofertas son el motor real. Este tipo de variable oculta o variable latente puede explicar tendencias que a simple vista parecen obvias.
Esto se conoce como correlación espuria y lo he visto fuera del mundo de los datos, en decisiones de negocio, métricas de producto y patrones personales. Muchos hemos tomado decisiones basadas en patrones que parecían convincentes o hemos confundido coincidencia con causa. Los ejercicios de hoy me enseñaron a pausar, visualizar, cuestionar y luego concluir.
Aprender correlación no solo fue aprender fórmulas, también fue entrenar el escepticismo. Ahora, ante un gráfico limpio o una tendencia fuerte, mi primer impulso no es un wow, sino preguntar qué falta, qué no estoy midiendo y cuál sería la primera variables que dudaría si la relación se rompe.
Mañana continuaré con ejercicios prácticos para profundizar en la interpretación de relaciones antes de sacar conclusiones precipitadas. Si alguna vez te han engañado por un patrón que parecía correcto, no estás solo: los datos suelen imponernos humildad, y aprender a disfrutar ese proceso es parte del camino.
En Q2BSTUDIO acompañamos ese aprendizaje práctico con soluciones reales. Como empresa de desarrollo de software y aplicaciones a medida ofrecemos servicios que combinan experiencia en desarrollo, inteligencia artificial y ciberseguridad para resolver problemas reales de negocio. Si buscas soluciones de software a medida o aplicaciones a medida para automatizar procesos o construir scrapers y pipelines de datos, conoce nuestras opciones en desarrollo de aplicaciones y software multiplataforma.
Además diseñamos e implementamos proyectos de inteligencia artificial y agentes IA para empresas, y ofrecemos integración con servicios cloud como servicios cloud aws y azure para alojar y escalar tus soluciones. También brindamos servicios de ciberseguridad y pentesting para proteger tus activos y servicios de inteligencia de negocio con herramientas como power bi que permiten convertir datos en decisiones.
En Q2BSTUDIO podemos ayudarte a aplicar ia para empresas mediante agentes IA, automatización de procesos y dashboards con power bi que evitan conclusiones erróneas y facilitan la toma de decisiones basada en evidencia. Si te interesa explorar cómo transformar datos en valor o reforzar la seguridad de tus sistemas, trabajemos juntos en soluciones a medida que se adapten a tus necesidades.
Hoy cierro el día con un aprendizaje claro: nunca aceptar una relación sin indagar más. Mañana vuelvo a practicar, con menos certezas absolutas y con más herramientas para detectar cuando una correlación es solo una ilusión. Salud por eso y por seguir mejorando.
