Attention Is All You Need: el paper de ocho páginas del que descienden todos los chatbots

El paper que presentó el Transformer y del que desciende toda la IA generativa actual. Leerlo hoy tiene algo de visitar un lugar histórico: la arquitectura está descrita casi por completo en un diagrama y unas pocas ecuaciones, sin conciencia aparente de lo que estaba desatando. Con las explicaciones visuales de ahora como acompañamiento, es más accesible de lo que su fama sugiere.

Abrir el original ↗pdf0 visitas · 0 lectores

Ashish Vaswani et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«El paper previo muestra la atención como solución concreta al problema de traducir frases largas sin colapsarlas en un único vector. Al pasar al Transformer se entiende cómo ese mecanismo práctico fue generalizado y elevado a pilar arquitectónico, dando contexto y juicio crítico.»
MIMarco Ibáñez
Donde se inventó de verdad la atención, tres años antes del TransformerPDF
«El paper ofrece la especificación original y la intuición formal; Alammar la convierte en un recorrido visual paso a paso que vuelve comprensibles las matrices, dimensiones y Q/K/V como flechas y operaciones, cerrando la brecha entre teoría y entendimiento práctico.»
MIMarco Ibáñez
El Transformer dibujado paso a paso: la explicación que el paper nunca dioArtículo