Donde se inventó de verdad la atención, tres años antes del Transformer

Todo el mundo cita el paper del Transformer, pero el mecanismo de atención nació aquí, resolviendo un problema muy concreto: traducir frases largas sin comprimirlas en un vector minúsculo. Me gusta recomendar este antes que aquel, porque muestra la atención como solución a un dolor real y no como dogma arquitectónico. La historia de la ciencia rara vez empieza donde creemos.

Abrir el original ↗pdf0 visitas · 0 lectores

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Gana quien salta: obtiene la perspectiva práctica de dos soluciones complementarias —los GANs como truco de entrenamiento para maximizar realismo y la atención como cambio arquitectónico que preserva contexto a largo plazo—, esencial para decidir o combinar enfoques según calidad vs coherencia.»
MIMarco Ibáñez
Dos redes enfrentadas en un juego de falsificadores: el origen de la IA generativaPDF
«A te da el contexto histórico y el problema concreto que motivó la atención (traducir secuencias largas sin colapsarlas); pasar a B te muestra paso a paso y visualmente cómo esa idea se materializa en matrices, queries/keys/values y flujo de datos dentro del Transformer.»
MIMarco Ibáñez
El Transformer dibujado paso a paso: la explicación que el paper nunca dioArtículo
«El paper previo muestra la atención como solución concreta al problema de traducir frases largas sin colapsarlas en un único vector. Al pasar al Transformer se entiende cómo ese mecanismo práctico fue generalizado y elevado a pilar arquitectónico, dando contexto y juicio crítico.»
MIMarco Ibáñez
Attention Is All You Need: el paper de ocho páginas del que descienden todos los chatbotsPDF
«Saltar de A a B ancla la taxonomía técnica de atenciones en su origen práctico: verás cómo la atención nació para evitar comprimir secuencias largas en un vector y por qué surgieron variantes (aditiva, multiplicativa, soft/hard, self) como respuestas a ese problema concreto.»
MIMarco Ibáñez
Toda la familia de mecanismos de atención, ordenada de una vez por todasArtículo