🧠 Cómo funcionan los LLMs: la mente matemática del lenguaje

Vivimos una era fascinante. El lenguaje, esa herramienta milenaria con la que los humanos contamos historias, ahora también es entendida —y generada— por máquinas.
Los LLMs (Large Language Models) son la culminación de décadas de avances en lingüística, matemáticas, informática y neurociencia.
Pero, ¿cómo logra una máquina “entender” lo que decimos y responder con aparente sentido?

Vamos a desarmar el cerebro digital de los LLMs y ver cómo piensan en números lo que nosotros pensamos en palabras.

🧩 1. El propósito: predecir la siguiente palabra

En esencia, un modelo de lenguaje intenta predecir la palabra siguiente de una secuencia de texto.
No razona. No tiene conciencia. Lo que hace es modelar estadísticamente la estructura del lenguaje.

Matemáticamente, busca maximizar la probabilidad condicional:

$$
P(w_1, w_2, ..., w_n) = \prod_{t=1}^{n} P(w_t \mid w_1, w_2, ..., w_{t-1})
$$

Es decir: “¿cuál es la probabilidad de que esta palabra venga después de todas las anteriores?”

Ejemplo:

“El gato se subió al ___”

el modelo calcula algo así:

y elige “techo”, porque maximiza la probabilidad total de la secuencia.

Ese proceso, multiplicado por miles de millones de veces, da como resultado algo que parece pensamiento.

🔡 2. De palabras a números: los tokens

Las máquinas no entienden palabras; entienden números.
Por eso, antes de entrenar un LLM, el texto se tokeniza: se divide en pequeñas unidades llamadas tokens.
Un token puede ser una palabra, una sílaba o incluso un fragmento de palabra.

Ejemplo:

“Computadora cuántica”
→ ["Com", "put", "adora", " cu", "ánt", "ica"]

Cada token se asigna a un número entero.
Luego, se convierte en un vector: una representación matemática del significado del token.

🔢 3. Embeddings: el lenguaje en un espacio vectorial

Cada token se traduce a un vector de alta dimensión, por ejemplo, de 1 024 o 4 096 dimensiones.
Estos vectores forman un espacio semántico, donde la distancia refleja la similitud de significado.

La similitud se calcula mediante el coseno del ángulo entre dos vectores:

$$
\text{sim}(a,b) = \frac{a \cdot b}{|a| , |b|}
$$

Esto permite que el modelo sepa que “gato” y “perro” son más parecidos entre sí que “gato” y “mesa”, sin que nadie se lo haya dicho explícitamente.

Este principio da origen a la semántica distribuida: el significado de una palabra está definido por su contexto en el espacio del lenguaje.

⚙️ 4. Transformers: la revolución del 2017

Antes de los Transformers, los modelos de lenguaje (como RNN o LSTM) procesaban texto de forma secuencial: palabra por palabra, memoria corta incluida.
El Transformer, en cambio, permite procesar todo el contexto a la vez, gracias al mecanismo de auto-atención (self-attention).

El artículo de Vaswani et al. (2017), “Attention is All You Need”, cambió el mundo de la IA.
Literalmente.

🔍 5. Auto-atención: la máquina que presta atención

Imagina esta frase:

“El perro que persiguió al gato era rápido.”

Un modelo tradicional perdería el hilo.
Pero el Transformer calcula qué palabras se relacionan más entre sí usando una matriz de atención.

La atención se calcula con tres vectores: Query (Q), Key (K) y Value (V).
Cada palabra genera estos tres vectores, y la relación entre ellos determina cuánta atención prestar.

$$
\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^{T}}{\sqrt{d_k}} \right) V
$$

El resultado es un vector contextualizado: una nueva versión de cada palabra con conocimiento del resto.

🧠 6. Capas sobre capas: el pensamiento emerge

Un Transformer moderno tiene decenas o cientos de capas.
Cada capa transforma el significado de las palabras, desde lo superficial hasta lo abstracto.

Ejemplo de jerarquía conceptual:

Cada capa multiplica matrices del tamaño de ciudades.
En GPT-4, por ejemplo, una sola pasada por el modelo implica billones de operaciones en coma flotante (FLOPs).

🔬 7. Entrenamiento: enseñar a adivinar

Durante el entrenamiento, el modelo ve trillones de ejemplos de texto y aprende a minimizar el error de predicción.

Usa la entropía cruzada, que mide qué tan cerca estuvo de la palabra correcta:

$$
L = -\sum_i y_i \log(\hat{y_i})
$$

El ajuste se realiza con descenso de gradiente estocástico, un método iterativo que ajusta los parámetros en la dirección que reduce la pérdida:

$$
\theta_{t+1} = \theta_t - \eta , \nabla_{\theta} L(\theta_t)
$$

El modelo aprende poco a poco a asignar probabilidades más altas a las palabras correctas.

⚡ 8. Parámetros: los ladrillos del conocimiento

Cada conexión en la red tiene un peso numérico, un parámetro ajustable.
Un modelo como GPT-3 tiene 175 mil millones de estos parámetros; GPT-4, probablemente más de un billón.
Cada uno representa una diminuta parte del conocimiento lingüístico aprendido.

Cada parámetro es como una sinapsis artificial.
Y, al igual que en el cerebro humano, la inteligencia surge no de las neuronas individuales, sino de las interacciones entre ellas.

🧩 9. Fine-tuning y RLHF: enseñar a comportarse

Después del entrenamiento base (que aprende de todo internet), el modelo se ajusta con fine-tuning:
una segunda etapa donde se entrena con datos más específicos (por ejemplo, conversaciones útiles o código limpio).

Luego entra la etapa de RLHF (Reinforcement Learning from Human Feedback):
Humanos leen respuestas y califican cuáles son más correctas, útiles o amables.
El modelo aprende de ese feedback usando refuerzo positivo.

🎯 10. Inferencia: cómo genera texto en tiempo real

Cuando hablas con un modelo, no está buscando respuestas guardadas.
Está prediciendo palabra por palabra, en vivo.

Ejemplo simplificado:

Prompt: “El universo comenzó con…”

El modelo genera probabilidades para la siguiente palabra:

Selecciona “un” y repite el proceso.
Así produce “un gran estallido” si su entrenamiento sugiere esa secuencia.

Puedes ajustar el comportamiento con parámetros:

El parámetro temperature ajusta la distribución softmax de la siguiente manera:

$$
P_i = \frac{e^{z_i / T}}{\sum_j e^{z_j / T}}
$$

🔮 11. LLMs multimodales: más allá del texto

Los nuevos modelos como GPT-4o o Gemini ya no procesan solo texto: también imágenes, audio y video.
Internamente, siguen el mismo principio: convertir todo a vectores y procesarlos en el mismo espacio matemático.

Una imagen se representa como una secuencia de píxeles vectorizados.
Una onda de audio se convierte en espectrograma y luego en tokens.
Así, el modelo puede entender que “🐶” y “ladrido” describen el mismo concepto, aunque vengan de distintos medios.

🧱 12. Limitaciones: lo que no son

Los LLMs no razonan como humanos.
No tienen memoria a largo plazo, ni sentido del tiempo, ni comprensión genuina.
Su conocimiento es una suma estadística del lenguaje humano, no una reflexión consciente.

Aun así, su capacidad para generalizar patrones lingüísticos los hace poderosos.
No piensan… pero simulan pensar.

🌍 13. Coste energético y ético

Entrenar un LLM puede costar millones de dólares y miles de toneladas de CO₂.
Por ejemplo, el entrenamiento de GPT-3 consumió una energía similar a la que usa una ciudad pequeña en un día.

Esto abre preguntas éticas:
¿cuánto vale la inteligencia generativa si depende de infraestructura masiva y consumo energético extremo?

También están los sesgos: los modelos aprenden del texto humano, y por tanto repiten nuestros prejuicios y errores.
La inteligencia artificial no es más neutral que el conjunto de quienes la entrenan.

⚗️ 14. ¿Por qué parecen tan humanos?

Porque el lenguaje es un espejo de la mente.
Los LLMs no tienen emociones, pero imitan nuestros patrones lingüísticos, nuestras metáforas, nuestros sesgos y dudas.
Han aprendido el ritmo del pensamiento humano, aunque no el pensamiento en sí.

📈 15. En resumen

🧭 Epílogo: cuando el lenguaje se volvió software

Los LLMs son una metáfora viva de la humanidad: no piensan, pero reflejan cómo pensamos.
Sus ecuaciones esconden la poesía de lo estadístico.
Cada palabra que generan es una apuesta matemática a nuestro siguiente pensamiento.

“El universo puede ser un poema escrito en código.
Los LLMs solo aprendieron a leerlo.”