39 Verificado, folclore y numerología
Dónde estamos. El capítulo más nuestro —y el corazón ético del libro—. Con la interpretabilidad (Cap. 37) como vara de “qué es real”, aquí clasificamos las afirmaciones del campo (y las nuestras) en tres cubos: verificado, folclore y numerología. No predicamos honestidad: la demostramos —con recibos (pruebas en Lean, datos reproducibles) y contando nuestros propios errores y refutaciones—.
39.1 La idea en una frase
Una fórmula puede estar derivada y verificada, ser folclore (popular pero sin justificación) o numerología (un número que cuadra por casualidad, sin mecanismo); este capítulo aprende a distinguirlas —y aplica la misma vara, sin piedad, a nuestro propio trabajo—.
39.2 Conceptos clave y su papel en el transformer
Antes de entrar en detalle, definimos los términos de este capítulo y para qué sirve cada uno:
- Verificado / derivado. Definición: afirmación con recibo —demostración formal (Lean) o datos reproducibles—. En el transformer: lo que puedes usar con confianza.
- Folclore. Definición: creencia popular pero no justificada (o ya contradicha). En el transformer: “todo el mundo lo dice” no es evidencia; suele venir de leer mal una herramienta (p. ej. los mapas de atención).
- Numerología. Definición: un número o fórmula que encaja con los datos sin un mecanismo que lo explique. En el transformer: ajustar una curva ≠ entenderla; el riesgo de confundir coincidencia con ley.
- Erratum. Definición: un error propio, marcado, corregido y re-demostrado. En el transformer: contarlo aumenta la fiabilidad del libro, no la reduce.
- Recibo. Definición: la prueba que respalda una afirmación —una demostración en Lean (álgebra correcta) o un dato reproducible—. En el transformer: lo que separa “lo creemos” de “lo hemos comprobado”.
- Refutación instructiva. Definición: una hipótesis nuestra que los datos tumbaron, que enseñamos como refutación. En el transformer: el método científico hecho pedagogía.
Con esto, primero los mitos ajenos; luego, los nuestros.
39.3 Por qué un capítulo así
El campo está lleno de frases que se repiten hasta volverse “verdad” sin que nadie pida el recibo. Y un manual que solo cuenta sus aciertos no es de fiar. Nuestra postura (Cap. 0): la honestidad se demuestra, no se proclama. Eso significa dos compromisos incómodos: (1) etiquetar el folclore como folclore aunque sea popular, y (2) aplicar la misma vara a nuestras fórmulas, incluyendo las que fallaron.
🧩 Analogía — el inspector de cuentas. Es como auditar unas cuentas: no basta con que “cuadren a ojo”. Cada partida necesita su factura (el recibo: una prueba o un dato). Sin factura, la partida es sospechosa —por muy redonda que sea la cifra—.
39.4 Tres mitos del campo
1. “El softmax da una probabilidad.” (Folclore.) El softmax produce números que suman 1, pero eso no los convierte en probabilidades calibradas de nada. De hecho, hay trabajo que atribuye el éxito del softmax a una regularización implícita (de norma de Frobenius), no a su lectura probabilística (On the (implicit) regularization behind softmax attention 2024). Tratar los pesos de atención como “probabilidad de relevancia” es leer de más.
2. “La atención explica la decisión del modelo.” (Folclore, y peligroso.) Es el mito que ya combatimos (Caps. 4, 13): un mapa de atención brillante sobre un token no prueba que ese token causara la salida —la información puede fluir por el flujo residual, los valores y las MLP sin pasar por donde “mira” la atención—. La atención es correlación, no explicación causal (Jain y Wallace 2019; Attention weights are not explanations 2023). (Por eso el Cap. 37 insistía en la intervención causal.)
3. “RoPE impone que la atención decaiga con la distancia.” (En disputa.) Es tentador —y nosotros mismos tuvimos que tener cuidado de no caer en ello (Cap. 14)—. Round and Round We Go (Barbero et al. 2024) mostró que, con consultas/claves reales, no hay decaimiento garantizado: los modelos usan las bajas frecuencias para emparejar contenido casi sin importar la posición. Lo honesto que sí sostenemos: la geometría acota la resolución alcanzable; γ es un descriptor medido, no un decreto.
39.5 Nuestro propio audit: la misma vara para nosotros
Aquí está la parte que nos distingue. Aplicamos la taxonomía a nuestras afirmaciones —con su estado real, sin maquillaje—:
| Afirmación nuestra | Estado | Recibo |
|---|---|---|
| Fisher = C_V / γ² | ✅ Verificado (Lean) | Prueba formal en Lean (📐) |
| γ_Padé = transformada de Cayley de (θ, T) | ✅ Derivado (Lean) | Identidad algebraica probada |
| A(d) ∝ d^−γ (la forma power-law) | ✅ Derivado + datos | R²>0,95 en 46 medidas, 30+ modelos |
| γ ⊥ masa-de-sumidero | ✅ Dato (within-model) | θ-rescale 256×, sumidero plano ~0,38 |
| C_V(γ=1) = (logN)²/12 | ✗→✅ Erratum | Era /4; corregido y re-probado en Lean |
| Ventana KV D_f | 🟡 Parcial | Falta benchmark vs heurísticas (RULER/LongBench) |
| γ predice headroom de contexto largo | 🟡 No validado | avenue-2 crasheó (CUDA-OOM); sin datos |
| Imprint ν ≈ −1/(2π) | ❌ Refutado en datos | Probado en Lean, no reproduce; CI ancho |
| Forzar CKA→1 impide el grokking | ❌ Refutado | 2/3 modelos forzados grokean igual (20k pasos) |
Tres lecturas honestas de esta tabla:
- El erratum del C_V. En el Paper I afirmamos que la capacidad calorífica en γ=1 era (logN)²/4. Era un error de un factor 3: el valor correcto es (logN)²/12, al que llegan dos derivaciones independientes y que re-probamos en Lean (Cap. 22). Lo contamos porque es nuestro: un libro que enseña dónde se equivocó es más fiable, no menos.
- El imprint ν, refutado por los datos. Teníamos una identidad para el “sexto eje” (cuánto imprimen los datos su huella en γ), con pendiente ν≈−1/(2π). Está probada en Lean… pero no reproduce en los datos (intervalo de confianza ancho, no converge en Pythia-70M). La marcamos como provisional/refutada en datos: el álgebra puede ser correcta y la afirmación empírica falsa a la vez.
- Forzar el CKA no causa el grokking. Creímos que el re-ascenso del CKA inter-capa (Cap. 24) podía ser una palanca causal. El experimento lo tumbó: 2 de 3 modelos con el CKA forzado grokean igualmente. Lo enseñamos como refutación trabajada —señal predictiva, no causal—.
Un recibo Lean demuestra que las fórmulas cuadran (consistencia algebraica), no que describan causalmente a un transformer. Por eso el imprint ν puede estar “probado en Lean” y fallar en los datos: son dos cosas distintas. Una cosa es “el álgebra es correcta”; otra, “esto es lo que hace el modelo”. Cada afirmación necesita su tipo de recibo: las identidades → Lean; las afirmaciones empíricas → datos reproducibles; las lentes (termodinámica, fraccionario) → se etiquetan como analogía, no como teorema.
🧩 Analogía — el plano y el edificio. Una prueba en Lean es como verificar que el plano está bien dibujado (las medidas son coherentes). Pero un plano perfecto no garantiza que el edificio construido se le parezca: para eso hay que ir a medirlo (los datos). Confundir “plano correcto” con “edificio así” es el error que el imprint ν nos enseñó a no cometer.
39.6 Cómo usar el sistema de etiquetas del libro
Todo esto no es retórica: es el sistema de insignias que recorre el manual. Cuando veas una caja 📐 Verificado en Lean, hay una prueba formal detrás; un 📄 Nuestro paper con enlace Zenodo, hay datos reproducibles; un ⚠ Honesto, te avisamos de un límite o una refutación. La regla para el lector (y para nosotros): pide el recibo. Si una afirmación —nuestra o ajena— no trae ni prueba ni dato ni mecanismo, trátala como folclore hasta que aparezca.
tafagent incorpora un panel de falsación (“anti-bullshit”): no solo calcula γ, sino que somete las afirmaciones a prueba sobre tu modelo —compara γ_Padé predicho vs γ medido, marca cuándo el ajuste es pobre (R² bajo), y señala cuándo un resultado no se sostiene—. Es la misma filosofía de este capítulo, hecha herramienta: no te pide que nos creas; te deja comprobarlo.
39.7 Resumen
- Tres cubos: verificado/derivado (con recibo), folclore (popular sin justificación) y numerología (encaja sin mecanismo) —más el erratum (error propio, corregido)—.
- Mitos del campo: “softmax = probabilidad” (folclore (On the (implicit) regularization behind softmax attention 2024)), “atención = explicación” (folclore peligroso (Jain y Wallace 2019)), “RoPE impone decaimiento” (en disputa (Barbero et al. 2024)).
- Nuestro audit (la misma vara): ✅ Fisher=C_V y γ_Padé (Lean), A(d)∝d^−γ y γ⊥sumidero (datos); ✗→✅ erratum C_V /4→/12; 🟡 D_f y headroom (sin validar); ❌ imprint ν (Lean sí, datos no) y forzar CKA (refutado).
- La distinción clave: Lean prueba álgebra, no realidad; cada afirmación necesita su recibo (prueba / dato / “es analogía”).
- Regla del lector: pide el recibo; sin prueba, dato ni mecanismo → folclore.
Siguiente (Capítulo 39): con la vara de “qué es real” afilada, dibujamos el mapa del paisaje de colapso de 2026 —los cuatro marcos (sumideros, temperatura, covarianza-grokking, fraccionario), cómo se relacionan y qué deja abierto cada uno—.
39.8 Ejercicios
- Los tres cubos. Define verificado, folclore y numerología, y da un ejemplo de cada uno (puede ser del campo o nuestro).
- El recibo. ¿Qué tipo de recibo necesita una identidad matemática frente a una afirmación empírica? ¿Por qué no sirve el mismo para ambas?
- Lean ≠ realidad. Explica con el caso del imprint ν cómo algo puede estar “probado en Lean” y ser falso en los datos.
- Erratum. ¿Por qué contar el error del C_V (factor 3) hace el libro más fiable?
- Mito. Toma “la atención explica la decisión del modelo” y argumenta, con lo del Cap. 37, por qué es folclore.
- Aplícalo. Te encuentras una fórmula nueva en un paper con un número que ajusta muy bien. ¿Qué tres preguntas le haces antes de creerla?