Fine-tuning de LLMs: cuándo vale la pena y cuando es overkill

Fine-tuning suena bien en una reunión comercial: "vamos a entrenar un modelo a medida para tu empresa". El cliente asiente. Lo que casi nadie cuenta es cuanto cuesta, cuanto tiempo lleva, y por que en el 80% de los casos hay alternativas mucho más baratas que funcionan igual o mejor.

Qué es fine-tuning

Fine-tuning es tomar un modelo de lenguaje pre-entrenado (GPT, Llama, Mistral) y entrenarlo un poco más con tus propios datos para que se especialice en una tarea. El modelo "aprende" patrones específicos de tu negocio: tu jerga, tu estilo, tu formato esperado de salida.

Es distinto de RAG: en RAG el modelo lee tus datos en el momento de cada consulta. En fine-tuning, el modelo modifica sus propios pesos internos. Una vez fine-tuneado, no necesita ver los datos originales para responder en ese estilo.

Cuándo NO necesitas fine-tuning

Esta es la parte que la mayoría omite. Antes de pensar en fine-tuning, preguntate:

• Un prompt más claro resuelve el problema? Muchas veces si. Los modelos modernos siguen instrucciones bien si las das bien.
• Un RAG bien hecho resuelve el problema? Si tu necesidad es "que el modelo conozca mis datos", RAG es más barato y más mantenible.
• Few-shot prompting alcanza? Pasarle 3-5 ejemplos en el prompt suele lograr lo que parecía necesitar fine-tuning.

Si alguna de esas tres técnicas resuelve tu problema, fine-tuning es overkill. Es como comprar un Ferrari para ir a comprar el pan.

Cuándo SÍ tiene sentido

Fine-tuning es la opción correcta cuando:

1. El estilo de salida es muy específico y consistente (formato, tono, estructura) y los ejemplos no alcanzan a corregirlo via prompt.
2. El volumen de uso es alto: tantas llamadas que pagar el contexto extendido de RAG/few-shot se vuelve más caro que el fine-tuning.
3. La latencia importa mucho: un modelo fine-tuneado puede ser más chico y más rápido para una tarea específica.
4. Trabajas con vocabulario o dominio muy especializado que el modelo base no maneja bien (términos medicos específicos, jerga interna, idiomas regionales).

Un caso que vemos venir en nuestros proyectos: optimizar generación de copy SEO en español rioplatense con el tono exacto que necesita Mi Seguro de Auto. El modelo base se inclina al español neutro o de Espana. Un fine-tuning pequeño sobre cientos de ejemplos validados puede mejorar significativamente la calidad sin tener que poner 10 ejemplos en cada prompt.

El costo real de fine-tunear

Hablemos números:

• Datos: necesitas idealmente 500-5.000 ejemplos de calidad. Curarlos lleva tiempo de personas con criterio.
• Computo: una corrida básica con OpenAI o Anthropic va de USD 50 a USD 500 según el modelo y el dataset. Con modelos open-source en GPUs propias el costo es distinto pero no necesariamente menor.
• Iteración: rara vez la primera corrida es la buena. Típico son 3-5 iteraciones.
• Mantenimiento: cuándo el modelo base se actualiza, tu fine-tuning queda viejo. Hay que rehacerlo.

Una iniciativa de fine-tuning seria de principio a fin va de USD 5.000 a USD 30.000 dependiendo de la complejidad.

La comparación práctica con RAG

Para que quede claro cuándo elegir cada uno:

En la mayoría de proyectos empresariales, RAG primero, fine-tuning después si y solo si RAG no alcanza para algún aspecto específico.

Qué está apareciendo nuevo

Hay variantes recientes que vale la pena conocer:

• LoRA (Low-Rank Adaptation): fine-tuning más barato y rápido modificando solo una parte del modelo.
• DPO (Direct Preference Optimization): ajustar el modelo a partir de pares "respuesta buena vs respuesta mala", sin necesitar reward models complejos.
• Modelos pequeños especializados: Llama 3, Qwen, Mistral 7B son lo suficientemente capaces como para fine-tunear localmente y dar buen resultado en tareas específicas.

Conclusión

Fine-tuning no es magia ni atajo. Es una herramienta específica para problemas específicos. Si te lo están vendiendo como solución general a "tener IA propia", probablemente te están vendiendo humo. Empezas por el problema concreto, mediante prompts y RAG, y solo si esas vias no alcanzan, considerar fine-tuning.

Si tu equipo está explorando IA y no sabes si tu caso necesita RAG, fine-tuning, o algo más simple, escribinos. Diagnóstico honesto en una llamada, sin vender lo que no necesitas.

---

Por Esteban Aleart, Founder & Lead Engineer de Pair Programming.