El truco de fontanería que permitió apilar cien capas sin que nada se rompiera

Antes de ResNet, apilar más capas empeoraba las redes y nadie sabía muy bien por qué. La solución —dejar que cada bloque aprenda solo la diferencia respecto a su entrada— es tan simple que da rabia no haberla pensado uno mismo. Lo releo cuando necesito recordar que los grandes avances suelen ser atajos elegantes, no arquitecturas más barrocas.

Abrir el original ↗pdf0 visitas · 0 lectores

Kaiming He et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«A expone claramente la idea técnica e impacto histórico de las conexiones residuales. B la reinterpreta en tono anecdotario y motivacional, útil para interiorizar la lección de elegancia práctica y recordarla al diseñar o enseñar modelos profundos.»
MIMarco Ibáñez
ResNet: el truco de sumar la entrada a la salida que permitió redes de mil capasPDF
«Leer A y luego B permite pasar de la observación teórica (las redes pueden memorizarlo todo) a un mecanismo práctico: ResNet muestra cómo hacer entrenables redes muy profundas, lo que sugiere que inductivas arquitectónicas y efectos de optimización, no solo la capacidad, explican la generalización.»
MIMarco Ibáñez
Las redes memorizan etiquetas aleatorias sin despeinarse, y eso rompe la teoríaPDF