Blueprint

🗺️ Map of How Transformers Attend — Part I

🏷️ Aprendizaje automático · análisis matemático de medidas de atención
22 results ✅ 0 entirely in Lean ◐ 9 partly formal ✅ 3 in Isabelle 💻 0 checked by a program written proof only (a result can carry several tags)

Dependencies in the written proof: an arrow A → B means that this proof of B uses A. Every result rests on its written proof; the tags record what was checked besides, and each statement's “Evidence & scope” block says how far. The colour of a box is its strongest tag, in the order above; the tags in the box give the rest. Boxes with a thick border are the main results; click a box to read the statement.

cluster_0 Background and Notation cluster_1 Modelling γ: Geometry, Approximations and Empirical Tests cluster_2 Why Power Law: The Maximum Entropy Foundation cluster_3 Finite Power-Law Families and Infinite-Support Limits cluster_4 Layer Heterogeneity and the Proposed Critical Layer cluster_5 KV-Cache Compression: Mass Budgets and Recorded Tests cluster_6 Coordinate Ablations and the Limits of Band Interpretation cluster_7 Corpus Contrasts and the Unvalidated Architecture Ratio cluster_8 Effective Coordinates and Dynamic Control Proposals cluster_9 Rational Coordinates and the Limits of the RG Analogy cluster_10 Eight Formally Verified Result Groups def:dead_active Definition 4.1 Planos rotatorios con y sin ciclo completo def:scales Definition 4.2 Distancias de referencia de la geometría RoPE prop:lerch_pade Proposition 5.1 La suma de cosenos no implica el candidato Padé thm:maxent_power_law Theorem 6.1 MaxEnt selecciona una familia de potencias bajo un momento fijado ◐ part in Lean thm:maxent Theorem 6.2 Existencia y unicidad del exponente MaxEnt en soporte finito ◐ part in Lean thm:maxent_power_law->thm:maxent thm:cv_hagedorn Theorem 7.1 Varianza continua de la logdistancia en uno ◐ part in Lean thm:area_law Theorem 7.2 Entropía de la familia finita y sus regímenes asintóticos ◐ part in Lean def:phases Definition 7.3 Regímenes de sumabilidad del soporte infinito def:lcrit Definition 10.1 Coordenada histórica de capa crítica thm:kv_window Theorem 11.1 Cuantil continuo de masa y cuantil discreto de tokens def:bands Definition 13.1 Agrupación de planos rotatorios def:deltag Definition 16.1 Contraste entre corpus con protocolo emparejado prop:causal_reference Proposition 19.1 Causalidad por prefijos del controlador corregido conj:hallu Conjecture 20.1 Hipótesis empírica sobre alucinación, aún no validada th:formal_null Theorem K.1 Nulo uniforme y calibración de la pendiente ◐ part in Isabelle th:formal_affine Theorem K.2 Sesgo de exposición afín ◐ part in Isabelle th:formal_null->th:formal_affine th:formal_mixture Theorem K.3 Curvatura de mezclas de potencias ✅ Isabelle th:formal_null->th:formal_mixture th:formal_quantiles Theorem K.4 Orden de cuantiles en soporte finito ◐ part in Isabelle th:formal_family Theorem K.5 Identidades de la familia exponencial finita ✅ Isabelle th:formal_truncation Theorem K.6 Cotas de truncación para una fila congelada ◐ part in Isabelle th:formal_softmax Theorem K.7 Estabilidad del softmax ante cambios de puntaje ✅ Isabelle th:formal_rope Theorem K.8 Integral coseno y residuo RoPE explícito ◐ part in Isabelle th:formal_softmax->th:formal_rope
La Parte I reúne cinco teoremas y dos proposiciones del cuerpo, ocho teoremas de calibración y cotas en el apéndice K, seis definiciones y una conjetura empírica. Las pruebas Isabelle cubren ocho grupos del apéndice; Lean verifica partes de cuatro resultados del cuerpo. Ninguna de esas pruebas establece cómo se entrena un modelo.

🚀 Start here: Theorem K.1: Nulo uniforme y calibración de la pendiente.

Main results:

  • Proposition 5.1: La suma de cosenos no implica el candidato Padé
  • Theorem 6.1: MaxEnt selecciona una familia de potencias bajo un momento fijado
  • Theorem 6.2: Existencia y unicidad del exponente MaxEnt en soporte finito
  • Theorem 7.2: Entropía de la familia finita y sus regímenes asintóticos
  • Theorem 11.1: Cuantil continuo de masa y cuantil discreto de tokens
  • Theorem K.1: Nulo uniforme y calibración de la pendiente
  • Theorem K.2: Sesgo de exposición afín
  • Theorem K.3: Curvatura de mezclas de potencias
  • Theorem K.4: Orden de cuantiles en soporte finito
  • Theorem K.5: Identidades de la familia exponencial finita
  • Theorem K.6: Cotas de truncación para una fila congelada
  • Theorem K.7: Estabilidad del softmax ante cambios de puntaje
  • Theorem K.8: Integral coseno y residuo RoPE explícito

🧭 Fields: where the paper lives and what it connects

Tools taken from other branches

What the results serve