Inferencia

La inferencia es el momento en que un modelo de IA ya entrenado se pone a trabajar: recibe una entrada nueva (un texto, una pregunta, una imagen, una fila de datos) y produce una salida (una respuesta, una clasificación, una predicción). Es la fase de uso del modelo, opuesta a la fase de entrenamiento, donde el modelo aprende ajustando sus parámetros a partir de ejemplos.

Dicho simple: entrenar es enseñarle al modelo; inferir es preguntarle. Cuando un agente de IA responde una consulta, redacta un correo o decide qué acción ejecutar, está haciendo inferencia. Cada respuesta de un asistente conversacional, cada documento clasificado y cada lead puntuado por un modelo es un acto de inferencia.

Importa porque la inferencia es lo que el negocio realmente consume y lo que determina el costo y la velocidad en producción. Un modelo se entrena una vez (o cada tanto), pero infiere millones de veces: por eso la latencia, el gasto por consulta y la calidad de cada respuesta dependen de cómo se gestione esta fase.

Cómo funciona la inferencia

Un modelo de IA, sobre todo un LLM, es en esencia una función matemática con millones o miles de millones de parámetros que ya quedaron fijos durante el entrenamiento. En la inferencia esa función no cambia: solo se ejecuta. El sistema toma la entrada, la convierte en tokens, la procesa a través de las capas del modelo y genera la salida token por token, prediciendo cada palabra nueva a partir de la anterior y del contexto disponible dentro de la ventana de contexto.

Dos parámetros gobiernan esta etapa. La temperatura regula cuán determinista o creativa es la salida: baja para tareas exactas, alta para generación más variada. Y el prompt, junto con cualquier dato que se inyecte vía RAG, define el contexto sobre el que el modelo razona. Nada de esto modifica al modelo: son entradas que condicionan una misma función fija.

Por qué importa para el negocio

La inferencia es la parte de la IA que escala con el uso, y por eso concentra el costo operativo. Entrenar un modelo grande es caro pero ocurre pocas veces; inferir ocurre en cada interacción con un cliente, en cada documento que entra y en cada decisión automatizada. Para una empresa argentina que pone un asistente de atención sobre WhatsApp, lo que paga mes a mes es inferencia: cada conversación consume tokens de entrada y de salida. Optimizar esta fase (elegir el modelo del tamaño justo, acotar el contexto, cachear respuestas frecuentes) tiene impacto directo en el margen.

La velocidad también se decide acá. La latencia de inferencia es el tiempo que tarda el modelo en empezar a responder y en completar la respuesta. En una experiencia conversacional, una demora de varios segundos rompe la sensación de fluidez; en un proceso por lotes (clasificar 10.000 facturas de un día), lo que importa es el rendimiento total, no la respuesta instantánea.

Ejemplo concreto en Argentina

Una distribuidora de Consumo Masivo contrata un modelo ya entrenado para clasificar los pedidos que llegan por mail y WhatsApp. Una vez en producción, cada mail nuevo dispara una inferencia: el modelo lee el texto, identifica producto, cantidad y cliente, y arma el pedido en el sistema. El equipo nunca vuelve a entrenar el modelo en el día a día; solo lo usa, miles de veces por semana. El costo mensual y la rapidez de cada pedido son, en la práctica, métricas de inferencia.

Inferencia vs entrenamiento

Errores comunes

• Confundir inferencia con entrenamiento. Pedirle a un modelo en inferencia que "aprenda" de lo que le decís en el chat es un malentendido frecuente: no retiene nada entre sesiones salvo lo que entre por su contexto. Para que aprenda de verdad hace falta fine-tuning o reentrenamiento.
• Subestimar el costo acumulado. Una prueba piloto barata puede volverse cara al escalar, porque la inferencia se multiplica por cada interacción.
• Ignorar la latencia. Un modelo más grande suele dar mejores respuestas pero infiere más lento; en casos conversacionales, a veces conviene uno más chico y rápido.
• Olvidar la gobernanza del dato. Lo que se manda en cada inferencia (datos de clientes, documentos sensibles) viaja al modelo: por eso importa dónde y cómo se ejecuta.