Temperatura (LLM)

La temperatura es un parámetro de configuración que controla el grado de aleatoriedad con el que un modelo de lenguaje grande (LLM) elige cada palabra al generar una respuesta. Cuando un modelo predice el siguiente token, no tiene una única opción: maneja una distribución de probabilidades sobre muchos candidatos. La temperatura ajusta esa distribución antes de elegir.

Con una temperatura baja (cercana a 0), el modelo se vuelve casi determinista: elige siempre las opciones más probables, así que repite la misma respuesta ante el mismo prompt. Con una temperatura alta (por encima de 0,8 o 1), achata la distribución y permite que palabras menos probables aparezcan, lo que produce respuestas más variadas, creativas y, a veces, sorprendentes.

Configurar bien la temperatura es parte de afinar el comportamiento de un asistente automatizado: es una de las palancas que se calibran al diseñar los agentes de IA según la tarea, ya sea extraer datos con precisión o redactar contenido con estilo.

Cómo funciona por dentro

Cada vez que un LLM genera texto, calcula una probabilidad para todos los tokens posibles que podrían venir a continuación. La temperatura divide esas puntuaciones antes de convertirlas en probabilidades finales (en la práctica, escala los valores de la función softmax). Una temperatura de 0 colapsa todo hacia el token más probable: el modelo se vuelve predecible y reproducible. A medida que el valor sube, la diferencia entre las opciones se reduce, los tokens menos esperados ganan chance y el texto se vuelve más diverso.

Conviene no confundir la temperatura con otros parámetros de muestreo que suelen aparecer juntos. El top-p (muestreo por núcleo) limita la elección al conjunto de tokens que acumulan cierta probabilidad; el top-k restringe a los k candidatos más probables. La temperatura actúa sobre la forma de la distribución; top-p y top-k recortan qué candidatos entran al sorteo. En general se ajusta uno a la vez para no perder control sobre el resultado.

Por qué importa en un proyecto real

Elegir la temperatura no es un detalle técnico menor: define si tu asistente es confiable o creativo. Pensemos en una empresa argentina que automatiza dos tareas distintas. Para un agente que clasifica facturas y extrae el CUIT, el monto y la fecha, querés temperatura baja: necesitás que la misma factura devuelva siempre el mismo dato, sin inventar. Para un asistente que redacta borradores de respuestas a clientes por WhatsApp, una temperatura media (alrededor de 0,7) ayuda a que los mensajes no suenen calcados entre sí y tengan un tono más natural.

Una regla práctica útil según el tipo de tarea:

• Extracción de datos, clasificación, respuestas de soporte basadas en una base de conocimiento: temperatura baja (0 a 0,3) para máxima consistencia.
• Resúmenes y reformulaciones: temperatura media-baja (0,3 a 0,6), equilibrio entre fidelidad y fluidez.
• Generación de ideas, copy de marketing, variantes creativas: temperatura más alta (0,7 a 1), priorizando diversidad.

Errores comunes

El error más frecuente es subir la temperatura buscando respuestas "más inteligentes". La temperatura no agrega conocimiento ni mejora el razonamiento: solo cambia cuánta variedad permite. Subirla demasiado aumenta el riesgo de alucinaciones y de salidas incoherentes. Otro error es esperar reproducibilidad perfecta con temperatura 0: aun ahí pueden aparecer pequeñas diferencias por la infraestructura de inferencia. Y un tercero es tocar temperatura y top-p a la vez sin medir, lo que vuelve imposible saber qué cambió el resultado.

Temperatura baja frente a temperatura alta

En síntesis, la temperatura es la perilla más directa para mover el comportamiento de un modelo entre la precisión y la creatividad. No tiene un valor "correcto" universal: el valor adecuado depende de la tarea, y la mejor forma de fijarlo es probar con casos reales de tu negocio y medir el resultado, no copiar un número de un tutorial.