🗺️ Map of How Transformers Attend — Part I
🏷️ Aprendizaje automático · análisis matemático de medidas de atención
22 results
✅ 0 entirely in Lean
◐ 9 partly formal
✅ 3 in Isabelle
💻 0 checked by a program
written proof only
(a result can carry several tags)
Dependencies in the written proof: an arrow A → B means that this proof of B uses A. Every result rests
on its written proof; the tags record what was checked besides, and each statement's “Evidence & scope” block says
how far. The colour of a box is its strongest tag, in the order above; the tags in the box give the rest. Boxes with a
thick border are the main results; click a box to read the statement.
La Parte I reúne cinco teoremas y dos proposiciones del cuerpo, ocho teoremas de calibración y cotas en el apéndice K, seis definiciones y una conjetura empírica. Las pruebas Isabelle cubren ocho grupos del apéndice; Lean verifica partes de cuatro resultados del cuerpo. Ninguna de esas pruebas establece cómo se entrena un modelo.
🚀 Start here: Theorem K.1: Nulo uniforme y calibración de la pendiente.
Main results:
- Proposition 5.1: La suma de cosenos no implica el candidato Padé
- Theorem 6.1: MaxEnt selecciona una familia de potencias bajo un momento fijado
- Theorem 6.2: Existencia y unicidad del exponente MaxEnt en soporte finito
- Theorem 7.2: Entropía de la familia finita y sus regímenes asintóticos
- Theorem 11.1: Cuantil continuo de masa y cuantil discreto de tokens
- Theorem K.1: Nulo uniforme y calibración de la pendiente
- Theorem K.2: Sesgo de exposición afín
- Theorem K.3: Curvatura de mezclas de potencias
- Theorem K.4: Orden de cuantiles en soporte finito
- Theorem K.5: Identidades de la familia exponencial finita
- Theorem K.6: Cotas de truncación para una fila congelada
- Theorem K.7: Estabilidad del softmax ante cambios de puntaje
- Theorem K.8: Integral coseno y residuo RoPE explícito
🧭 Fields: where the paper lives and what it connects
Tools taken from other branches
- Familias exponenciales y teoría de la información → Desigualdad de Gibbs, unicidad MaxEnt, entropía finita y cuantiles en soportes declarados. — Theorem 6.1, Theorem 6.2, Theorem 7.2, Theorem 11.1, Theorem K.5, Theorem K.4
- Análisis de regresión y de softmax → Covarianza en una malla ponderada, sesgo del nulo, mezclas, truncación y cotas de estabilidad. — Theorem K.1, Theorem K.2, Theorem K.3, Theorem K.6, Theorem K.7
- Geometría RoPE y sumas oscilatorias → Frecuencias geométricas, ciclos completos e integral coseno con residuo; la hipótesis sobre scores es adicional. — 4.1, 4.2, Proposition 5.1, Theorem K.8
What the results serve