Ventana de contexto

La ventana de contexto es el límite de información que un modelo de lenguaje grande (un LLM) puede "tener a la vista" mientras genera una respuesta. Se mide en tokens (fragmentos de palabras), y abarca todo lo que entra y sale en una misma interacción: las instrucciones del sistema, la pregunta del usuario, los documentos o datos que le adjuntes, el historial de la conversación y la propia respuesta del modelo.

Pensala como la memoria de trabajo a corto plazo del modelo: si algo no entra en esa ventana, el modelo no lo "ve" y no puede usarlo para razonar. Cuando una conversación o un documento superan ese límite, el contenido más viejo se recorta y empieza a perderse, lo que explica por qué a veces un asistente parece "olvidar" lo que se dijo al principio de un chat largo.

En el contexto de los agentes de IA, la ventana de contexto es un recurso crítico: define cuánta información de tu negocio (un manual, un historial de cliente, un catálogo) puede considerar el agente antes de actuar. Por eso convive con técnicas como el RAG, que recupera solo los fragmentos relevantes para no saturarla.

La ventana de contexto es uno de los conceptos más malentendidos de la IA generativa, y entenderlo bien evita expectativas equivocadas al implementar asistentes o agentes. No es la "memoria permanente" del modelo ni su conocimiento general (eso viene del entrenamiento): es el espacio temporal donde cabe la información de una consulta puntual.

Cómo se mide y por qué en tokens

La ventana no se mide en palabras ni en caracteres, sino en tokens. Un token es un fragmento de texto: en español, una palabra común suele equivaler a entre uno y tres tokens, y como regla práctica 1000 tokens rondan las 750 palabras. Una ventana de 128.000 tokens, por ejemplo, alcanza para unas 90.000 a 100.000 palabras, el equivalente a un libro corto. El punto clave es que ese presupuesto es compartido: cada token que ocupan tus instrucciones y tus datos adjuntos es un token menos disponible para la respuesta.

Entrada y salida comparten el mismo presupuesto

Esta es la parte que más sorprende a quien diseña su primer asistente. La ventana se reparte entre tres bloques:

• Prompt del sistema: las instrucciones fijas que definen cómo se comporta el modelo (tono, reglas, formato).
• Contexto del usuario: la pregunta actual, el historial de la conversación y todo documento o dato que se inyecte (por ejemplo, vía RAG o tool calling).
• Respuesta generada: lo que el modelo produce también consume tokens de la misma ventana.

Si llenás casi toda la ventana con datos de entrada, le queda poco espacio para responder, y la respuesta puede salir cortada. Por eso administrar la ventana es un trabajo de diseño, no algo que se resuelva solo con un modelo "más grande".

Por qué importa en un proyecto real

En un despliegue B2B, la ventana de contexto define qué tan "informado" puede estar un agente sin recurrir a sistemas externos. Un caso concreto en Argentina: una empresa de Consumo Masivo arma un asistente de IA para que su fuerza de ventas consulte políticas comerciales, precios y condiciones por cliente. Si intentan meter el catálogo completo, la lista de precios y el historial de cada cuenta dentro de la ventana en cada consulta, el costo se dispara (se paga por token) y la latencia sube. La solución no es agrandar la ventana indefinidamente, sino usar RAG para recuperar solo los fragmentos relevantes de una base de datos vectorial e inyectarlos justo cuando hacen falta.

Errores comunes

• Creer que ventana más grande siempre es mejor. Más tokens significan más costo y más lentitud por consulta. La ventana grande es una herramienta, no un fin.
• Asumir que el modelo "recuerda" todo lo que cabe. Existe el fenómeno de "perdido en el medio" (lost in the middle): los modelos prestan más atención al principio y al final de la ventana que a la información ubicada en el centro de un texto muy largo.
• Confundir ventana de contexto con memoria persistente. Cuando se cierra la sesión, ese contexto desaparece. Para que un agente "recuerde" entre conversaciones hace falta guardar y recuperar esa información de forma explícita (por ejemplo, desde un CRM o una base de datos).
• Llenarla con ruido. Más contexto no es mejor contexto. Inyectar documentos irrelevantes degrada la calidad de la respuesta y aumenta el riesgo de alucinación.

Ventana de contexto vs RAG: no compiten, se complementan

Una confusión frecuente es elegir "entre" agrandar la ventana o usar RAG. En la práctica trabajan juntos: la ventana es el contenedor, RAG decide qué poner dentro.

La regla práctica: usá la ventana para el contexto inmediato de la tarea y RAG para darle al modelo acceso a un cuerpo de conocimiento que jamás entraría completo en ningún límite de tokens.