Introducción

Seguro que has escuchado hablar de los modelos LLM (Large Language Models) en los últimos tiempos: asisten virtuales que responden preguntas, redactores de correos electrónicos automáticos, traductores que teenredan en segundos y hasta sistemas de programación que sugieren fragmentos de código. Pero, ¿qué es realmente un LLM? ¿Cómo puede un conjunto de números generar texto que parece tan humano? Vamos a desglosar el concepto desde cero, usando analogías cotidianas y sin necesidad de un background técnico previo.

En este artículo vas a aprender:

• Qué son los tokens y cómo un modelo los transforma en significado.
• Por qué la arquitectura Transformer es el corazón de los LLMs actuales.
• Cómo el modelo maneja el contexto y recuerda qué vino antes.
• Qué es la temperatura y cómo influye en la creatividad frente a la precisión.
• Ejemplos conceptuales que te ayudarán a visualizar cada pieza.

Al finalizar, vas a tener una idea clara de cómo un LLM "piensa" (o al menos, de cómo simula hacerlo) y podrás entender las decisiones de diseño detrás de estos modelos sin necesidad de escribir una sola línea de código.

El problema de representar el lenguaje

Imaginá que querés que una computadora entienda y genere texto como lo hacemos los humanos. El primer paso es convertir el lenguaje, que es continuo y ambiguo, en algo que un ordenador pueda manipular: una secuencia de símbolos discretos. Pensá en ello como traducir un río fluyente a una serie de fotogramas estáticos: cada fotograma captura un momento, pero hay que decidir dónde cortar.

Antiguamente, los modelos de lenguaje se basaban en redes neuronales profundas pero con arquitecturas limitadas (como los clásicos recurrentes). Estas redes trataban el texto como una larga lista de palabras, pero tenían dificultades para retener información sobre frases anteriores cuando la secuencia se volvía larga. Además, su forma de generar nuevas palabras era muy determinista: dado un contexto, siempre producían la misma siguiente palabra, sin margen para la variedad o la creatividad.

La necesidad de modelos más flexibles y capacitados a gran escala llevó al surgimiento del Transformer, una arquitectura que procesa todas las palabras de una vez, capturando dependencias a largo plazo y sentando las bases para los LLMs que conocemos hoy.

Tokens: las unidades atómicas del texto

Qué es un token

Un token es la unidad básica que un modelo ve. No es necesariamente una palabra: puede ser una subpalabra, un carácter o incluso un grupo de caracteres. Piensa en ello como los "pixeles" del lenguaje: lo más pequeño que el modelo puede identificar y manipular.

Imaginá que estás leyendo un párrafo. Tu cerebro no procesa cada letra por separado; en su lugar, reconoce palabras completas y a veces fragmentos como contracciones ("no puedo" → "no-puedo") o números ("2023" → un solo token). Un modelo hace lo mismo, pero con reglas definidas por el tokenizador.

Ejemplo de tokenización

Texto original	Tokens posibles (ejemplo)
"Tengo un perro."	["Tengo", "un", "perro", "."]
"Tengo un perro."	["Tengo", "un", "perro", "realmente", "lindo"] (si el tokenizador divide "lindo" en "realmente" + "lindo")
"€100"	["€100"] (moneda como un solo token)

El tokenizador es como un conjunto de reglas de ortografía que deciden dónde hacer los cortes. Algunos tokenizadores están basados en espacios (cortan donde hay espacios), mientras que otros, como los usados en GPT, emplean modelos de subpalabras (BPE) para encontrar los límites más eficientes.

Por qué los tokens importan

• Memoria: El modelo trabaja con una longitud fija de tokens (el "contexto" del que hablaremos luego). Cuantos más tokens, más información puede retener, pero también más memoria se necesita.
• Eficiencia: Los tokens reducen el desorden. Dos palabras similares pueden convertirse en un token compartido, ayudando al modelo a generalizar mejor.
• Error de tokenización: Las divisiones pueden alterar el significado (por ejemplo, "no" + "abandonar" vs. "no-abandonar"). Los desarrolladores eligen tokenizadores que equilibren precisión y rendimiento.

Arquitectura Transformer: el motor que aprende dependencias

Una analogía: la oficina de correos

Imaginá un modelo Transformer como una oficina de correos gigante. Cada palabra (o token) es un paquete que llega. La oficina tiene varias salas:

1. Entrada: los paquetes reciben direcciones (codificación de palabra) y un número de serie (codificación posicional) para que sepan dónde están en la cola.
2. Atención: en esta sala, cada paquete puede examinar todos los demás y decidir qué tan relevante es para sí mismo y para los demás. Es como si cada empleado mirara todo el correo, encontrara conexiones relevantes y las compartiera.
3. Procesamiento: el paquete acumula información de todas las salas y continúa al siguiente paso.
4. Salida: finalmente, el paquete se transforma en una nueva palabra o una decisión de clasificación.

La atención es la clave: permite al modelo relacionar una palabra con cualquier otra en la secuencia, sin importar la distancia.

Mecanismo de auto-atención

El Mecanismo de Auto-Atención es el componente central de un Transformer. Funciona así:

1. Consultas (Q), Claves (K) y Valores (V): cada token genera tres vectores: una consulta (lo que está buscando), una clave (cómo se identifica) y un valor (la información real que se transmitirá).
2. Similitud: calculan la similitud entre cada consulta y cada clave (el producto punto normalizado). Esto da como resultado un enfoque: para cada token, qué otros tokens son más relevantes.
3. Combinación: los valores relevantes se ponderan según los enfoques y se suman. Así, cada token obtiene un vector enriquecido que sintetiza la información del entero contexto.

El resultado es que cada token "sabe" algo sobre los demás tokens, capturando relaciones como género, tiempo y significado.

Encoder y Decoder (y por qué algunos modelos tienen ambos)

• Encoder: lee el texto de entrada y aprende representaciones (embeddings) ricas. Procesa la entrada una vez, extrayendo patrones ocultos.
• Decoder: genera la salida paso a paso. Toma el texto ya generado y el encoder original para decidir qué palabra viene next.

Los modelos autoregresivos (como GPT) usan solo un decodificador que predice el siguiente token de manera secuencial, apoyándose en el contexto previamente generado. Otros, como BERT, usan solo un encoder y se entrena para completar máscaras o responder preguntas.

Contexto: cuánto recuerda un modelo

Ventana deslizante de tokens

Los LLMs tienen un límite de tokens que pueden procesar en una sola pasada. Por ejemplo, un modelo con un contexto de 8k tokens solo puede ver los 8,000 tokens más recientes. Piensa en ello como una ventana de un escritorio: puedes ver solo los documentos que están sobre ella, no los archivados en los cajones.

Si una conversación se extiende más allá del límite, el modelo solo recuerda lo que está dentro de la ventana. Las partes más antiguas pueden caerse, pero algunas arquitecturas mantienen un "buffer" o un resumen de la conversación anterior.

Codificación posicional

A diferencia de una serie de números, el lenguaje tiene un orden. La Codificación Posicional añade una señal única a cada token para que el modelo sepa si viene antes o después. Es como poner números de puerta en cada paquete: "este va al estante 3, este al 5". Sin esta señal, el Transformer trataría el texto como un conjunto desordenado.

Cómo el contexto afecta la generación

Cuando el modelo genera una nueva palabra, mira hacia atrás a todos los tokens dentro del contexto (incluidos los que acaba de producir). Esto le da información sobre el tema, el tono y la coherencia.

Imaginá un juego de preguntas y respuestas: cuanto más recordás de la pregunta inicial, mejor podés responder. Del mismo modo, un LLM usa tokens anteriores como "memoria" para producir respuestas más relevantes.

Temperatura: controlando la creatividad frente a la precisión

Muestreo vs. maximización de probabilidad

Después de que un modelo ha calculado las probabilidades de cada token posible como siguiente, hay dos formas de elegir el siguiente token:

• Greedy (maximizar): elige la palabra con la mayor probabilidad. Es determinista y a menudo produce texto seguro, pero puede sentirse repetitivo o excesivamente conservador.
• Muestreo: elige un token según la distribución de probabilidad. Introduces aleatoriedad, permitiendo una salida más diversificada.

Qué es la temperatura

La temperatura (T) es un factor que escalona la distribución de logits antes del muestreo:

logits_ajustados = logits / T

• T baja (≈0.1–0.5): los logits se vuelven muy afilados; solo las probabilidades más altas sobreviven. El muestreo se asemeja al greedy: predicciones más seguras y repetitivas.
• T alta (≈1.5–2.0): los logits se abren; la distribución se vuelve más uniforme. El modelo se vuelve más creativo, a veces generando texto plausible pero no siempre correcto.
• T=1: la distribución original se mantiene; es un punto medio estándar.

Piensa en la temperatura como el volumen de una mezcla: a bajo volumen, solo se escuchan las notas fuertes (alta confianza). A alto volumen, muchas notas suaves emergen, creando una pieza más rica y variada.

Técnicas relacionadas: Top‑k, Top‑p (núcleo) y mezcla de expertos

• Top‑k: restringir el muestreo a los K tokens más probables. Es como elegir entre los K mejores candidatos en una entrevista.
• Top‑p (núcleo): seleccionar el token más pequeño cuya probabilidad acumulada supere p, descartando las colas de baja probabilidad. Es como seleccionar el grupo de texto más relevante para leer.

Estas técnicas, combinadas con la temperatura, permiten a los desarrolladores ajustar el equilibrio entre utilidad y creatividad según la aplicación: un asistente de código puede usar una temperatura baja, mientras que un chatbot de creatividad puede usar una alta.

Ejemplos conceptuales que ilustran los conceptos

Ejemplo 1: Tokenización de una frase

Frase: "La gente que vive en París a menudo camina por las aceras bajas."

Un tokenizador basado en BPE podría dividirla así:

• "La", "gente", "que", "vive", "en", "París", "a menudo", "caminata", "por", "las", "aceras", "bajas", "."

La palabra "París" se mantiene entera porque es común. "caminata" se mantiene junta, mientras que si apareciera en otro contexto, podría dividirse en "cami" + "nata".

Ejemplo 2: Ventana de contexto en una conversación

Supongamos un modelo con 1,000 tokens de contexto y una conversación así:

1. Usuario: "¿Cuáles son los síntomas de la gripe?"
2. Asistente: "Fiebre, tos, dolor muscular..."
3. Usuario: "¿Cómo se compara eso con la COVID‑19?"
4. Asistente: "Ambos pueden causar fiebre..."
5. Usuario: "Espera, ¿qué hay de la pérdida del gusto?"

Si seguimos conversando mucho más, el modelo comenzará a olvidarse de los síntomas de la gripe mencionados al principio una vez que los tokens excedan 1,000. Es como intentar recordar una lista larga sin apuntarla: al final, las primeras pistas se desvanecen.

Ejemplo 3: Temperatura en la generación

Un modelo debe completar: "Elikingtherainow."

La distribución de probabilidad del modelo (simplificada):

Token	Probabilidad sin temperatura
"el"	0.70
"the"	0.20
"a"	0.10

• T = 0.2 (baja): ajustamos los logits → la probabilidad de "el" se vuelve 0.95, las demás se reducen drásticamente. El modelo casi siempre escribe "el".
• T = 2.0 (alta): los logits se espesan → nuevas probabilidades: "el" 0.45, "the" 0.35, "a" 0.20. El modelo podría escribir "the" o "a", creando un resultado más variado.

Este ejemplo muestra cómo la temperatura afecta el resultado final, influyendo en si la frase suena excesivamente predecible o inesperadamente creativa.

Buenas prácticas y errores comunes

• Elegí el tamaño de contexto correcto: un contexto más grande mejora la memoria pero aumenta el costo computacional. Piensa en el uso típico: un asistente de chat puede necesitar 10k tokens, mientras que un modelo de resumen puede funcionar bien con 2k.
• Ajusta la temperatura según el caso de uso: las tareas que requieren precisión (por ejemplo, generar código) suelen beneficiarse de una temperatura baja; la creatividad (por ejemplo, escribir poesía) puede requerir una temperatura alta.
• Monitorea el desbordamiento del contexto: si ves que el modelo ignora detalles anteriores, considera reducir el contexto o usar mecanismos de resumen.
• Evita el sesgo de tokenización: probá el tokenizador con dominios específicos (médico, legal) para asegurarte de que las divisiones no alteren el significado.
• Itera con top‑k/top‑p: combina muestreo y temperatura; experimentar con diferentes valores ayuda a encontrar el equilibrio entre utilidad y diversidad.
• Entiende los límites: los LLMs pueden generar contenido plausible pero no siempre verificable. Siempre valida la salida crítica, especialmente en dominios sensibles.

Conclusión

Los LLM son construidos a partir de ideas simples (tokens, atención) y ampliados con trucos inteligentes (codificación posicional, temperatura). Al imaginarlos como una oficina de correo que reordena paquetes, una ventana de contexto que enmarca la escena y un control de volumen que ajusta la creatividad, el proceso se vuelve más tangible.

Comprender estos conceptos básicos te da la capacidad de:

• Elegir el modelo adecuado para una tarea específica.
• Diagnosticar por qué un modelo puede olvidar información anterior.
• Ajustar el grado de creatividad vs. seguridad en la generación.
• Hablar con propiedad sobre arquitectura, contexto y parámetros de muestreo.

Ahora ya tenés una base sólida para sumergirte más en modelos específicos, pipelines de datos o los últimos avances en investigación. La próxima vez que interacts con un chatbot, podrás apreciar la complejidad de decisiones que hay detrás de cada palabra generada.

Próximos pasos

Si querés profundizar, explorá:

• Archivos de investigación: el artículo original "Attention Is All You Need" (Vaswani et al., 2017).
• Herramientas: marcos como Hugging Face Transformers, que exponen los controles de temperatura, top‑k y contexto.
• Flujos de trabajo prácticos: entrena un pequeño modelo Transformer en tu propia colección de texto (usa sesiones colaborativas de notebooks para un aprendizaje guiado).

El mundo de los LLMs está en constante evolución, pero los conceptos fundamentales —tokens, atención, contexto y temperatura— permanecen como los cimientos sobre los que se construye todo lo demás. ¡Feliz exploración!