Resumen ejecutivo: Afine el modelo Qwen 2.5 3B con preguntas regulatorias del Reserve Bank of India y alcanzó 57.6% de precisión frente al 7% del modelo base, una mejora de 8.2 veces gracias a dos palancas clave: ampliación de datos mediante reformulación de preguntas y ajuste eficiente con LoRA usando Unsloth.
El reto: los modelos generales fallan en dominios especializados porque requieren conocimiento factual preciso, terminología específica y comprensión contextual. Al evaluar Qwen 2.5 3B sin ajuste sobre preguntas de RBI obtuvo solo 7% de aciertos y tendía a respuestas vagas, desactualizadas o con omisiones críticas.
La solución: dos estrategias combinadas. Primero, ampliación de datos mediante reformulación: a partir de 12K pares pregunta respuesta se generaron 3 reformulaciones por pregunta para obtener 47K ejemplos efectivos. Esta técnica evita la memorización de frases exactas, aumenta el tamaño efectivo del conjunto y mejora la generalización. En este proyecto la reformulación representó aproximadamente 40% de la mejora total.
Segundo, ajuste eficiente con LoRA y Unsloth: en lugar de entrenar los 3 mil millones de parámetros se aplicó LoRA para entrenar solo el 1% aproximado, unos 30 millones de parámetros. Configuración clave usada: rango r 16, alpha 32, dropout 0.1 y módulos objetivo en atención y MLP. Esta elección equilibró capacidad y riesgo de sobreajuste para 47K ejemplos.
Por qué LoRA funciona: descompone la actualización de pesos en dos matrices de baja dimensión reduciendo drásticamente parámetros entrenables y requisitos de memoria. Uso de RS LoRA para evitar colapso de rango y mantener diversidad en las dimensiones adapter fue importante para estabilidad.
Unsloth como acelerador: la librería permitió entrenar 2 horas en una sola GPU con uso de memoria de solo ~8 GB VRAM, integrando kernels optimizados, Flash Attention 2, checkpointing mejorado y soporte para cuantización 4 bit. En la práctica esto reduce barreras de hardware y tiempo frente a Transformers estándar.
Detalles del entrenamiento: dataset total 47K QA pairs (12K originales + 35K reformuladas), 1 epoca, batch por dispositivo 8 con acumulacion de gradiente 4 para un batch efectivo de 32, learning rate 2e-4 con scheduler coseno y warmup 5%, longitud maxima 2048 tokens y carga en 4 bit. Resultado final: train loss 0.57, eval loss 0.58 y 57.6% de aciertos en un conjunto de evaluación estratificado de 1000 muestras.
Evaluación: se empleó un flujo de trabajo LLM as judge usando Gemini 2.0 Flash para calificar precisión factual y completitud frente a respuestas ground truth. Se validó manualmente una muestra y la concordancia fue 94% con la evaluación automática, permitiendo métricas rápidas y consistentes.
Ablaciones relevantes: sin reformulación 32% de aciertos; con 1x reforma 45%; con 3x reforma 57.6% mostrando retornos decrecientes. En pruebas de rango LoRA r8 subajustó, r16 fue óptimo y r32 sobreajustó. Cambios en learning rate confirmaron 2e-4 como punto dulce para LoRA en este volumen de datos.
Análisis por tipo de pregunta: mejoras más grandes en preguntas factuales precisas donde la tasa subió de 6.8% a 57.6%. En razonamiento el modelo mejoró de 37.5% a 62.5% pero estas preguntas siguen siendo más difíciles por requerir combinación de hechos y contexto.
Lecciones clave aplicables a proyectos de IA empresariales: calidad de datos por encima de cantidad, la reformulación de preguntas es una técnica de alto retorno, LoRA es una solución práctica para producción, una metodología de evaluación estratificada y automatizada es esencial y herramientas como Unsloth democratizan el ajuste fino en hardware modesto.
Resultados operativos: entrenamiento en 2 horas en GPU comercial con ~8 GB VRAM, dataset de 47K, mejoras de 8.2x sobre el modelo base y convergencia estable sin picos de pérdida.
Próximos pasos sugeridos: aprendizaje por currículo para priorizar ejemplos fáciles, mineria de negativos duros sobre errores de evaluación, ensamblado con RAG y eventual escalado a modelos 7B o integración de optimización de preferencias para alcanzar 70% o más. A largo plazo aplicar fine tuning para razonamiento multipaso, aprendizaje continuo y soporte multimodal para documentos y tablas.
En Q2BSTUDIO aplicamos estos aprendizajes en proyectos reales de desarrollo de software y aplicaciones a medida. Si su organización necesita soluciones de inteligencia artificial escalables, agentes IA, o consultoría para integrar modelos ajustados en producción vea nuestra oferta de inteligencia artificial en Inteligencia artificial para empresas y si busca construir aplicaciones o software a medida visite nuestra página de software a medida y aplicaciones multicanal.
Servicios y palabras clave: Q2BSTUDIO es una empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Ofrecemos integración de modelos ajustados, pipelines de datos, automatización de procesos y soluciones seguras listas para producción.
Recomendación práctica para equipos: recolecte 5 a 10K pares QA de alta calidad, genere 3 reformulaciones por par, use LoRA con r=16 y Unsloth para entrenar en hardware comedido, y mida con muestreo estratificado y un evaluador LLM para obtener métricas reproducibles.
Conclusión: con datos relevantes y herramientas de ajuste eficientes es posible convertir un modelo 3B en un experto de dominio en pocas horas y con hardware accesible. En Q2BSTUDIO ayudamos a organizaciones a aplicar estas técnicas para casos regulatorios, legales, financieros y de cumplimiento, garantizando soluciones robustas y seguras adaptadas a sus necesidades.
Contacto y recursos: si desea asesoría para implementar un proyecto similar, optimizar modelos para su dominio o contratar desarrollo de aplicaciones a medida, ciberseguridad o servicios cloud aws y azure, nuestro equipo está disponible para colaborar y personalizar la solución.
