El Transformer dibujado paso a paso: la explicación que el paper nunca dio

Alammar hizo por el Transformer lo que nadie hizo por él en el paper original: dibujarlo hasta que cada matriz tiene sentido. Query, key y value dejan de ser conjuros y pasan a ser flechas de colores que puedes seguir. Es probablemente el post técnico más enlazado de la era LLM, y con motivo. Si solo puedes leer una explicación de la arquitectura, que sea esta.

Abrir el original ↗articulo0 visitas · 0 lectores

Jay Alammar · Blog de Jay Alammar

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«A te da el contexto histórico y el problema concreto que motivó la atención (traducir secuencias largas sin colapsarlas); pasar a B te muestra paso a paso y visualmente cómo esa idea se materializa en matrices, queries/keys/values y flujo de datos dentro del Transformer.»
MIMarco Ibáñez
Donde se inventó de verdad la atención, tres años antes del TransformerPDF
«Partir de la claridad sobre cómo las LSTM gestionan memoria mediante puertas y celdas te da el trasfondo necesario para apreciar que el post del Transformer sustituye esa memoria secuencial por enrutamiento dinámico (Q/K/V y pesos de atención), explicando por qué la atención permite paralelismo y mejor escalado.»
MIMarco Ibáñez
El post sobre LSTMs que enseñó a explicar deep learning a toda una generaciónArtículo
«El paper ofrece la especificación original y la intuición formal; Alammar la convierte en un recorrido visual paso a paso que vuelve comprensibles las matrices, dimensiones y Q/K/V como flechas y operaciones, cerrando la brecha entre teoría y entendimiento práctico.»
MIMarco Ibáñez
Attention Is All You Need: el paper de ocho páginas del que descienden todos los chatbotsPDF
«Permite traducir la taxonomía formal de Weng (additiva/multiplicativa, self, soft/hard y sus fórmulas) a la implementación visual y paso a paso de Alammar, de modo que identifiques qué variante aparece en las matrices Q/K/V y cómo cambia el flujo y resultado en un Transformer.»
MIMarco Ibáñez
Toda la familia de mecanismos de atención, ordenada de una vez por todasArtículo