El diseño de indicaciones (prompts) en modelos de lenguaje de gran escala (LLMs) es una tarea que combina arte y ciencia, pero hasta ahora muchas decisiones clave se tomaban sin evidencia controlada. Un estudio reciente, basado en un corpus sintético libre de contaminación (el 'Libro de Veyra'), examina tres factores críticos: el formato de las instrucciones (markdown, texto plano, prosa o tabular), la cantidad de instrucciones simultáneas que puede manejar un prompt del sistema antes de que el cumplimiento se degrade, y la cantidad de contexto que un modelo puede retener antes de que la precisión y la honestidad disminuyan. Los resultados, evaluados en cinco modelos, revelan hallazgos sorprendentes que tienen implicaciones directas para empresas que buscan integrar IA de forma eficiente.
En el primer experimento, con 960 llamadas por modelo, se observó que la tasa de respuestas perfectas colapsa a cero cuando el número de reglas alcanza las 80, independientemente del formato, la colocación (prompt del sistema vs. turno de usuario) o el modelo utilizado. El formato no mostró una ventaja clara: ni el markdown ni el texto plano destacaron de manera consistente; de hecho, un modelo de 35B prefirió el texto plano. La colocación de las instrucciones generó efectos tan grandes como el formato en el límite de 160 reglas, pero la dirección varió según el modelo. Esto sugiere que no existe una receta universal y que las empresas deben probar y adaptar sus estrategias de prompting según el modelo específico que utilicen.
El segundo experimento, con 5.520 llamadas por modelo, evaluó la precisión de recuerdo, la sicofanía de premisas falsas y la fabricación de hechos ausentes a lo largo de una escalera de contexto de 2k a 512k tokens. La precisión de recuerdo se mantuvo cerca del techo hasta los 64-128k tokens, para luego degradarse de forma abrupta y dependiente del formato: en un modelo, la diferencia de precisión alcanzó 48 puntos en 128k tokens. Sorprendentemente, no se detectó fabricación en ninguna de las 5.760 pruebas, y la sicofanía se mantuvo por debajo del 8,3%. Lo que sí aumentó drásticamente cerca del techo de contexto de cada modelo fue la negativa a responder, pasando del 0% al 79-90%. Este comportamiento es cualitativamente diferente a la fabricación o la sicofanía, y representa un riesgo operativo para aplicaciones que requieren alta disponibilidad de respuesta.
Para una empresa que desarrolla soluciones basadas en IA, estos hallazgos son un llamado a la acción. No basta con lanzar un prompt bien redactado; hay que considerar la arquitectura del sistema, la gestión del contexto y la elección del modelo. En Q2BSTUDIO, como empresa de desarrollo de software y tecnología, entendemos que la integración de inteligencia artificial en procesos de negocio debe basarse en datos empíricos y no en suposiciones. Por eso ofrecemos servicios de consultoría y desarrollo de aplicaciones a medida que permiten a nuestros clientes diseñar sistemas de prompting robustos, capaces de manejar cientos de instrucciones y contextos extensos sin perder fiabilidad.
La investigación también subraya la importancia de la infraestructura. El uso de servicios cloud como AWS o Azure facilita la escalabilidad de los experimentos de prompting y la monitorización del comportamiento del modelo en entornos productivos. Además, la integración con herramientas de Business Intelligence (BI) y Power BI permite visualizar métricas de rendimiento como la tasa de rechazo o la precisión de recuerdo, ayudando a tomar decisiones informadas sobre cuándo recortar el contexto o ajustar el número de instrucciones.
Otro aspecto relevante es la ciberseguridad. Cuando un modelo se niega sistemáticamente a responder cerca de su límite de contexto, puede ser señal de un comportamiento inesperado que podría explotarse si no se gestiona adecuadamente. Por eso, en Q2BSTUDIO incorporamos prácticas de ciberseguridad y pentesting en nuestros desarrollos de IA, asegurando que los agentes IA sean robustos frente a manipulaciones y mantengan la integridad de los datos.
En resumen, el diseño de prompts a escala no es una tarea trivial. Los resultados de este estudio ofrecen una guía basada en evidencia que toda organización debería considerar. En Q2BSTUDIO, combinamos nuestra experiencia en aplicaciones a medida, cloud computing, BI y ciberseguridad para ayudar a las empresas a navegar este complejo panorama. Ya sea implementando agentes IA que manejen cientos de instrucciones simultáneas o desplegando sistemas que gestionen contextos de hasta 128k tokens sin pérdida de precisión, nuestro enfoque se centra en resultados medibles y fiables. Para aquellas compañías que buscan aprovechar el potencial de los LLMs sin caer en las trampas del diseño amateur, la colaboración con un socio tecnológico especializado es la clave del éxito.
