ResNet: el truco de sumar la entrada a la salida que permitió redes de mil capas

Las redes profundas empeoraban al crecer hasta que este paper propuso algo casi humilde: dejar que cada bloque aprenda solo la diferencia respecto a su entrada. Esa conexión residual está hoy en todas partes, transformers incluidos. Me gusta como ejemplo de que las ideas que cambian un campo suelen ser vergonzosamente simples una vez que alguien las ve.

Abrir el original ↗pdf0 visitas · 0 lectores

Kaiming He et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«A expone claramente la idea técnica e impacto histórico de las conexiones residuales. B la reinterpreta en tono anecdotario y motivacional, útil para interiorizar la lección de elegancia práctica y recordarla al diseñar o enseñar modelos profundos.»
MIMarco Ibáñez
El truco de fontanería que permitió apilar cien capas sin que nada se rompieraPDF
«Conectar ResNet con el experimento de etiquetas aleatorias permite investigar si los atajos residuales —que facilitan la optimización en redes muy profundas— introducen inductive biases o regularizaciones implícitas que evitan el sobreajuste y ayudan a explicar la sorprendente generalización.»
MIMarco Ibáñez
Las redes memorizan etiquetas aleatorias sin despeinarse, y eso rompe la teoríaPDF