La ciencia de datos se ha convertido en un campo donde la velocidad de ejecución importa tanto como la calidad analítica. Los científicos de datos dedican una parte significativa de su tiempo a tareas recurrentes: limpiar datos, escribir consultas SQL, elegir la prueba estadística adecuada o formatear resultados para una audiencia ejecutiva. Con la llegada de los modelos de lenguaje de gran tamaño, muchos equipos han comenzado a delegar estas tareas en agentes conversacionales. La promesa es atractiva: menos trabajo manual, más tiempo para el análisis profundo y una productividad sostenida.
Sin embargo, convertir esa promesa en realidad no es tan sencillo. Una de las estrategias más populares consiste en dotar al modelo con habilidades reutilizables, a menudo llamadas skills: archivos que contienen instrucciones, ejemplos y criterios para una familia de tareas. La idea es evitar que cada solicitud empiece desde cero y, al mismo tiempo, incorporar el conocimiento experto. Cuando estas habilidades son escritas por personas expertas, pueden reflejar años de buenas prácticas. Pero escribirlas y mantenerlas para cada dominio analítico supone un cuello de botella considerable. Por eso ha ganado interés la posibilidad de que el propio modelo genere esas habilidades de forma automática.
Un experimento reciente ha analizado si las habilidades generadas por LLM mejoran realmente el rendimiento de los científicos de datos. El estudio abarca varias etapas del ciclo de vida de un proyecto analítico: preparación de datos, extracción de información, análisis estadístico y generación de informes. Para cada etapa se creó una habilidad generada y se comparó su uso con una estrategia base consistente en enviar únicamente la descripción de la tarea al modelo. Los resultados no muestran una mejora fiable: en la práctica, el modelo obtiene resultados similares con la habilidad completa y con ninguna habilidad.
Este hallazgo invita a reflexionar sobre cómo usamos realmente los modelos generativos. No basta con escribir un documento de instrucciones e inyectarlo en el prompt. En muchas ocasiones, el contexto adicional añade ruido antes que claridad. El estudio incluso observa que una habilidad rellena con contenido irrelevante puede comportarse de forma parecida a una habilidad bien intencionada. Esto sugiere que el formato, la estructura o la simple presencia de metadatos influyen más de lo que pensamos, y que el contenido específico de la skill no siempre aporta una ventaja medible.
Para una empresa tecnológica, estos resultados tienen un valor estratégico importante. En Q2BSTUDIO trabajamos cada día con organizaciones que quieren integrar inteligencia artificial en sus procesos de datos. La tentación de crear un gran repositorio de skills generadas por LLM y confiar en ellas como solución universal es comprensible, pero los datos sugieren que hace falta un enfoque más riguroso. La IA debe estar al servicio de un flujo de trabajo bien diseñado, no sustituir el diseño del flujo de trabajo.
Parte del problema está en la naturaleza de las tareas de datos. Una consulta SQL puede parecer sencilla, pero su calidad depende del esquema de la base de datos, de la semántica del negocio y de las expectativas del usuario final. Una prueba estadística no es una receta fija: exige conocer la distribución de los datos, los supuestos del modelo y el contexto de la decisión. Una habilidad generada puede capturar una visión general, pero difícilmente sustituirá el criterio que necesita un analista para adaptarla al problema concreto.
Esto no quiere decir que las habilidades generadas sean inútiles. Quiere decir que deben tratarse como hipótesis de trabajo, no como conclusiones. Una organización madura en el uso de la IA evalúa cada componente antes de incorporarlo a producción. Construye conjuntos de validación, mide el rendimiento por tipo de tarea y decide cuándo conviene usar una habilidad, un prompt simple o un flujo automatizado. Esa cultura de experimentación es justamente la que marca la diferencia entre un piloto interesante y una transformación real.
En este contexto, el software a medida juega un papel esencial. Una plataforma de datos empresarial no es un simple chat con un modelo de lenguaje; es un entorno donde conviven pipelines de datos, controles de calidad, permisos, auditorías y cuadros de mando. Q2BSTUDIO ayuda a las empresas a construir aplicaciones a medida que integran agentes de IA de forma segura y controlada. En lugar de depender exclusivamente de un prompt genérico, estas aplicaciones pueden orquestar modelos, verificar resultados y ofrecer al científico de datos un punto de partida fiable.
La nube también forma parte de la respuesta. Los modelos necesitan acceso a datos actualizados, identidades gestionadas y entornos escalables. Una arquitectura basada en soluciones de IA sobre cloud AWS/Azure permite conectar los modelos a los sistemas de registro sin exponer información sensible. La ciberseguridad se convierte así en un habilitador: no podemos confiar en los resultados de un LLM si no sabemos quién accede a qué, cómo se registran las decisiones y qué mecanismos de defensa existen frente a ataques de prompt injection o fugas de datos.
Además, el análisis de datos no termina en un resultado estadístico. En la mayoría de las empresas, la información se consume a través de dashboards, informes ejecutivos y alertas. Las herramientas de BI/Power BI permiten visualizar los resultados y compartirlos con los equipos de negocio. Una habilidad generada por LLM podría ayudar a preparar el código de transformación, pero la gobernanza del dato y el diseño del informe requieren una capa de software que garantice coherencia y trazabilidad. En Q2BSTUDIO integramos BI/Power BI con procesos de IA para que los datos lleguen a la decisión de forma clara y auditada.
Otra lección importante es la necesidad de separar el ruido de la señal. En los experimentos revisados, el rendimiento con la habilidad completa era similar al rendimiento sin habilidad, y también similar al de un texto irrelevante con el mismo formato. Esto indica que, en muchos casos, el modelo ya sabe lo suficiente sobre la tarea si se le presenta de forma explícita. Añadir más documentación puede ser contraproducente: consume tokens, introduce ambigüedad y desvía la atención del modelo hacia detalles que no son relevantes para la muestra concreta.
La solución no es eliminar las habilidades, sino rediseñar su uso. En lugar de inyectar un documento largo en cada conversación, podemos construir un sistema de recuperación que seleccione únicamente la parte relevante para la pregunta del usuario. Podemos también diseñar la habilidad como una lista de verificaciones breves, no como un tratado. Y podemos asignar a la IA tareas específicas dentro de un proceso software más amplio, donde cada paso sea validado por una regla de negocio o por un humano cuando el riesgo lo justifique.
Los agentes de IA, entendidos como sistemas capaces de planificar y ejecutar acciones, se benefician de esta misma lógica. Un agente que limpia datos no debería actuar a ciegas; debería consultar el esquema real, comprobar la coherencia de los valores, documentar los cambios y solicitar aprobación cuando detecte una anomalía. Q2BSTUDIO diseña este tipo de agentes sobre la base de software robusto, integrando los modelos de lenguaje como un componente más, no como el centro del universo.
En resumen, la pregunta inicial, si las habilidades generadas por LLM hacen mejores a los científicos de datos, tiene una respuesta matizada. Pueden ayudar en ciertos contextos, pero no constituyen una mejora automática. Los estudios empíricos muestran que, como estrategia predeterminada, añadir una habilidad generada no supera de forma fiable al prompt simple. Las organizaciones que obtendrán mayor valor serán aquellas que integren la IA generativa en un marco de ingeniería de datos y software, con medición continua, seguridad y foco en el resultado de negocio.
En Q2BSTUDIO creemos en una tecnología pensada para la operación real. Por eso combinamos la potencia de los modelos de lenguaje con aplicaciones a medida, arquitectura cloud AWS/Azure, ciberseguridad y plataformas de BI/Power BI. El objetivo no es tener la habilidad perfecta, sino construir sistemas que ayuden a las personas a tomar mejores decisiones. La IA es una herramienta extraordinaria, pero necesita contexto, control y criterio. Ese criterio sigue siendo, afortunadamente, humano.
