Alucinación (IA)

Una alucinación es la respuesta de un modelo de inteligencia artificial que suena coherente y convincente pero es factualmente falsa, inventada o no verificable. El modelo no miente con intención: simplemente predice la próxima palabra más probable según los patrones de su entrenamiento, sin un mecanismo nativo que distinga lo cierto de lo verosímil. Cuando le faltan datos, los rellena con algo que estadísticamente encaja, y lo entrega con el mismo tono de confianza que una respuesta correcta.

El fenómeno es propio de los LLM (modelo de lenguaje grande) y de la IA generativa en general. Por eso, controlar las alucinaciones es un requisito central de cualquier agente de IA que opere sobre datos reales de una empresa, y es parte de lo que vuelve confiable a un sistema de agentes de IA. Un agente que inventa el saldo de una cuenta, una política de devolución o el estado de un pedido no solo es inútil, sino riesgoso para el negocio.

La buena noticia es que la alucinación no es un destino inevitable. Con técnicas como anclar el modelo a fuentes de datos reales (grounding y RAG (Retrieval Augmented Generation)) y poner barreras de control (guardrails), se reduce drásticamente la frecuencia con que ocurre.

Por qué un modelo alucina

Un modelo de lenguaje no tiene una base de datos de hechos que consulta antes de responder. Funciona por probabilidad: dada una secuencia de palabras, calcula cuál es la continuación más plausible según lo que vio en su entrenamiento. Esa misma mecánica que lo hace fluido y natural es la que produce alucinaciones, porque lo plausible no siempre es lo verdadero. Si le preguntás por una norma que no existe, el modelo puede redactar una que "suena" como una norma real, con número de artículo incluido.

Hay además factores que aumentan el riesgo. La temperatura (LLM) alta hace que el modelo elija opciones menos probables y más creativas, lo que sube la chance de inventar. Una pregunta ambigua o un prompt mal formulado lo empujan a "completar" con suposiciones. Y cuando el tema está fuera de su conocimiento o es muy reciente (posterior a su corte de entrenamiento), el modelo no dice "no sé": rellena el vacío con algo verosímil.

Tipos de alucinación

No todas las alucinaciones son iguales. Conviene distinguirlas para saber cómo mitigarlas:

• De contradicción de la fuente: el modelo recibe un documento y aun así responde algo que lo contradice.
• De invención de hechos: crea datos que no existen (una cita, una estadística, un nombre, una fecha).
• De fabricación de referencias: inventa fuentes, links o expedientes que parecen reales pero no lo son.
• De razonamiento inconsistente: llega a una conclusión que no se sigue de los pasos que él mismo expuso.

Ejemplo concreto en LATAM

Imaginá un banco argentino que pone un asistente de IA en WhatsApp para responder consultas de clientes. Un usuario pregunta: "¿Cuál es el límite para transferencias por la app?". Si el agente no está anclado a los datos reales de ese cliente y a la política vigente del banco, puede contestar un monto inventado que suena razonable (por ejemplo, un tope genérico que vio en miles de textos similares). El cliente lo toma como cierto, intenta operar y falla, o peor, toma una decisión financiera sobre un dato falso. La misma consulta, con el agente conectado al core bancario vía RAG (Retrieval Augmented Generation), devuelve el límite exacto de esa cuenta. La diferencia entre un asistente útil y uno peligroso está, casi siempre, en si responde desde los datos de la empresa o desde su imaginación estadística.

Cómo se mitiga

El objetivo no es eliminar la alucinación al 100% (hoy es técnicamente imposible), sino reducirla a un nivel tolerable y detectable. Las palancas principales son:

1. Grounding y RAG: antes de responder, el sistema recupera los documentos o registros relevantes y obliga al modelo a basarse en ellos. Si el dato no está en la fuente, el modelo lo admite en lugar de inventar.
2. Guardrails: reglas y filtros que bloquean respuestas fuera de alcance, validan formatos y frenan al agente cuando no tiene fundamento.
3. Human-in-the-loop: en decisiones sensibles, una persona revisa o aprueba antes de ejecutar.
4. Citar la fuente: pedirle al modelo que muestre de dónde sacó cada afirmación facilita la verificación y desincentiva la invención.
5. Prompt claro y acotado: instrucciones precisas y la indicación explícita de "respondé solo con la información provista" reducen el margen de relleno.

En qué se diferencia de un error común de software

Un bug tradicional es determinista y reproducible: con la misma entrada, da siempre el mismo resultado equivocado. Una alucinación es probabilística: la misma pregunta puede dar una respuesta correcta una vez y una inventada la siguiente. Esta tabla resume el contraste:

Por qué importa para el negocio

En un contexto B2B, una alucinación no es una curiosidad técnica: es un riesgo operativo y reputacional. Un agente que inventa precios, condiciones contractuales o stock disponible puede generar un compromiso comercial imposible de cumplir, una sanción regulatoria o la pérdida de confianza de un cliente. Por eso, en cualquier despliegue serio de IA sobre datos de empresa, la pregunta no es "¿qué tan inteligente parece?", sino "¿cómo garantizamos que responda desde la verdad de la organización y no desde su propia invención?".