22 Estructura de fases y la función de partición polilog
Dónde estamos. Abrimos la Parte III: una lente física sobre la atención. Aviso de entrada, y va en serio: esto es una lente, una analogía. La termodinámica da intuición poderosa sobre la atención, pero hay que ser muy claro sobre qué es correspondencia real y qué es metáfora —y qué de esto es nuestro y qué es de otros—. Este capítulo lo explica con esa honestidad por delante.
22.1 La idea en una frase
La distribución de la atención se puede leer como un sistema termodinámico con una “función de partición”; en particular, sobre la distancia toma forma de polilogaritmo, y γ=1 aparece como una frontera candidata entre dos fases.
22.2 Conceptos clave y su papel en el transformer
Antes de entrar en detalle, definimos los términos de este capítulo y para qué sirve cada uno dentro de un transformer:
- Función de partición Z. Definición: el “censo” de un sistema físico —la suma de todos sus estados pesados por
e^(−energía/temperatura)—; conocerla da energía media, fluctuaciones, etc. En el transformer: es el normalizador del softmax de la atención; aquí la miramos sobre la distancia entre tokens, no sobre el contexto. - Polilogaritmo
Li_s(z). Definición: la suma \(\sum_{k\ge1} z^k/k^s\); enz=1es la zeta de Riemannζ(s). En el transformer: es la forma que toma Z cuando la atención decae como una power-lawd^−γ—el normalizador genérico de cualquier cola de potencia—. - Exponente γ. Definición: el ritmo de decaimiento de la atención con la distancia (
A(d)∝d^−γ, Cap. 15). En el transformer: es la palanca de control del sistema; ocupa el papel del exponentesdel polilog y decide en qué fase está el modelo. - Transición de fase. Definición: un cambio cualitativo y brusco al cruzar un valor crítico (el agua que hierve a 100 °C). En el transformer: el marco para preguntarnos si el comportamiento de la atención cambia de golpe al cruzar γ=1.
- Temperatura de Hagedorn. Definición: una temperatura límite (de la física de hadrones) por encima de la cual la función de partición diverge. En el transformer: la analogía etiquetada del punto donde
Li_γdeja de converger —ilustra la divergencia, no afirma la física literal—. - Frontera γ=1 (Fase A / Fase B). Definición: el valor donde
Li_1deja de converger igual, separando Fase A (γ<1, mira lejos) de Fase B (γ>1, concentra). En el transformer: la frontera candidata entre un modelo que reparte atención a lo lejano y uno que la concentra cerca. - Susceptibilidad χ. Definición:
χ=1/|γ−1|, cuánto reacciona el sistema a un cambio diminuto de la palanca. En el transformer: se dispara en γ=1, señalando que ahí el comportamiento de la atención cambia abruptamente.
La idea de fondo: leer la atención como un sistema con fases, y γ como el termómetro que dice de qué lado de la frontera está cada modelo.
22.3 La lente termodinámica (que NO es nuestra)
En física, una función de partición Z es el “censo” de un sistema: suma todos los estados posibles, pesando cada uno por e^(−energía/temperatura), de modo que los estados de baja energía cuentan más. Conocer Z lo da todo (energía media, fluctuaciones, etc.).
Resulta que la atención encaja en este molde: el softmax es una distribución de Boltzmann (Cap. 4), con los logits como energías y una temperatura efectiva. Esto no lo inventamos nosotros: es un marco activo —el “isomorfismo termodinámico de los transformers” (Kim 2026) deriva el softmax minimizando una energía libre, y usa un pico de capacidad calorífica como precursor del grokking— sobre una tradición de décadas (Jaynes (1957); la mecánica estadística del aprendizaje de Gardner (1988), Engel y Van den Broeck (2001)). Decir “hicimos termodinámica de la atención” sería falso.
22.4 Lo específicamente nuestro: Z sobre la distancia → un polilogaritmo
Nuestra variante mira la función de partición sobre la distancia entre tokens (no sobre los tokens de contexto por energía, como hace Kim). Si la atención decae como d^−γ (Cap. 15), su normalizador toma la forma de un polilogaritmo:
\[ Z = \mathrm{Li}_\gamma(e^{-\lambda}), \qquad \mathrm{Li}_s(z) = \sum_{k\ge 1} \frac{z^k}{k^s} \]
Qué dice cada parte:
- Z = la función de partición (el “censo” de antes).
- Li_s(z) = el polilogaritmo, que no es más que la suma \(\sum_{k\ge1} z^k/k^s\).
- k = la distancia (el índice de la suma: 1, 2, 3, …).
- s = γ = el exponente de decaimiento: cada distancia k pesa como
1/k^γ—justo la ley de potencia—. - z = e^{−λ} = un factor que amortigua las distancias grandes; λ actúa como un “potencial” (a mayor λ, menos peso a lo lejano). En el límite z→1 (λ→0),
Li_γse convierte en la zeta de Riemannζ(γ).
El polilogaritmo Li_s es simplemente el normalizador genérico de cualquier distribución con cola de potencia (y en z=1 es la zeta de Riemann ζ(s)). Que “la función de partición sea un polilog” es matemática automática si la distribución es power-law: no es un descubrimiento. Lo que aportaría valor es mostrar que la distribución de distancia realmente tiene esa forma y que γ es un parámetro de control medible —no el nombre de la función—.
Antes de seguir, mira la serie en acción: cada ladrillo es un término 1/d^γ y la torre es la suma que Z normaliza. Con γ>1 la torre se frena bajo un techo (la asíntota ζ(γ)); con γ≤1 la escala la persigue y nunca alcanza techo —es exactamente la misma serie-p que el Cap. 20 llama la frontera de compresibilidad—. Y fíjate en la aguja χ=1/|γ−1|: se dispara al rozar γ=1:
22.5 Fases y la frontera de Hagedorn
Aquí está la estructura interesante. Una transición de fase es un cambio cualitativo y brusco al cruzar un valor crítico:
🧩 Analogía. Agua a 100 °C: das calor y la temperatura sube… hasta justo 100 °C, donde se estanca —cada julio extra convierte líquido en vapor en vez de subir la temperatura—. Una palanca cruza un valor y la sustancia se reorganiza de golpe.
La temperatura de Hagedorn (de la física de hadrones) (Hagedorn 1965) es un caso extremo: una temperatura límite por encima de la cual la función de partición diverge, porque el número de estados crece exponencialmente. No puedes calentar más allá: la energía extra crea estados nuevos en vez de subir la temperatura.
En nuestra lente, γ=1 es la frontera candidata: es donde el polilog deja de converger igual (Li_1 diverge), separando Fase A (γ<1, mira lejos) de Fase B (γ>1, concentra). La susceptibilidad χ = 1/|γ−1| —que mide cuán violentamente reacciona el sistema a un cambio diminuto— se dispara ahí (que se dispare en γ=1 señala que el comportamiento cambia de golpe):
🧩 Analogía — el lápiz en la punta. ¿Qué significa que χ se dispare? Que en γ=1 el sistema está en equilibrio sobre la punta, como un lápiz de pie: un empujón infinitesimal —un pelo de γ— basta para tirarlo a un lado (Fase A) o al otro (Fase B). Lejos de γ=1 el lápiz está tumbado y cuesta moverlo; en γ=1 la sensibilidad es infinita.
Y ahora la pregunta más honesta del capítulo, hecha imagen. Móntala tú: desliza γ para rodar la bola por las dos fases, y sube N (la longitud del contexto) para ver si la aguja de χ es una transición de verdad o solo un cruce que la finge:
🧩 Analogía — hervir o ablandar. El agua que hierve es una transición de verdad: brusca, con su meseta a 100 °C. La mantequilla que se ablanda es un cruce: gradual, sin frontera nítida. ¿γ=1 hierve o se ablanda? Con N infinito, χ diverge —hierve—; con N finito, Li_1 solo crece como log N —se ablanda—. Por eso lo llamamos frontera candidata, no transición demostrada.
Cuidado con el nombre. (1) “Hagedorn” es una analogía etiquetada: una Hagedorn de verdad exige crecimiento exponencial de estados; nosotros mostramos un mecanismo de divergencia (Li_γ en γ→1), no afirmamos la física literal. (2) Y el punto más delicado: nuestro vecino más cercano (Kim 2026) NO observa una divergencia —reporta explícitamente “ninguna divergencia power-law asintótica… solo un cruce de tipo crítico”—. Así que si γ=1 es una transición real o solo un cruce suave es una pregunta abierta: en N finito, Li_1 diverge solo como log N, lo que se parece más a un cruce que a un salto. Presentamos γ=1 como frontera candidata con evidencia, no como transición demostrada. (3) Además, nuestro propio cálculo de la capacidad calorífica en γ=1 tuvo un erratum (un factor 12 vs 4) que corregimos y verificamos en Lean —lo contamos en el Cap. 22—.
22.6 Por qué esta lente no es solo adorno
A pesar de las cautelas, la física conecta con lo práctico: γ=1 es exactamente la frontera de compresibilidad del KV-cache (Cap. 20). Ahora bien, seamos precisos sobre por qué coinciden: no son dos hechos independientes que se corroboran, sino el mismo —el polilog \(Z=\mathrm{Li}_\gamma\) y la suma del KV \(\sum_d d^{-\gamma}\) son la misma serie, y ambas dejan de converger en γ=1—. Lo que aporta la lente no es una predicción extra, sino consistencia: la termodinámica y la ingeniería son dos lecturas del mismo umbral matemático. Y ese umbral es real —marca dónde una ventana finita deja de capturar la masa—, que es lo que hace la analogía valiosa: no por sonar elegante, sino porque nombra dónde cambian las cosas.
tafagent clasifica tu modelo en Fase A o B respecto a la línea γ=1 y reporta la susceptibilidad χ. Verás que los modelos del atlas (Cap. 16) se agolpan justo por debajo de γ=1 —cerca de esa frontera—.
22.7 Resumen
- La lente termodinámica lee el softmax como Boltzmann y define una función de partición Z. No es nuestra (Kim (2026) + tradición Jaynes/Gardner).
- Nuestro: Z sobre la distancia → forma polilog
Z=Li_γ(e^−λ); γ=1 como frontera candidata (Fase A/B), con χ=1/|γ−1| divergiendo ahí. - Honesto: el polilog es el normalizador automático de una power-law; “Hagedorn” es analogía; y si γ=1 es transición o solo cruce está abierto (el vecino no ve divergencia); + erratum propio en C_V(γ=1), corregido en Lean.
- Valor: γ=1 es la frontera de compresibilidad del KV (Cap. 20) — no como corroboración independiente, sino porque el polilog y la suma del KV son la misma serie; la lente aporta consistencia, no evidencia extra.
Siguiente (Capítulo 22): el “diccionario” termodinámico completo —temperatura, capacidad calorífica, información de Fisher— y la identidad que sí está verificada en Lean: Fisher = C_V.
22.8 Ejercicios
- Función de partición. En una frase: ¿qué “censa” Z y por qué conocerla lo da todo?
- El polilog. ¿Por qué decimos que “Z es un polilog” no es, por sí solo, un descubrimiento?
- Transición vs cruce. ¿Qué diferencia hay entre una transición de fase (agua a 100°C) y un cruce suave (mantequilla ablandándose)? ¿Cuál ve el vecino Kim?
- Honestidad. ¿Por qué llamamos a γ=1 “frontera candidata” y no “transición de fase demostrada”?