Qué ven las neuronas: imágenes alucinadas que revelan el interior de una red

Optimizar una imagen para excitar al máximo una neurona produce estampas psicodélicas de ojos, plumas y espirales que son, literalmente, lo que esa neurona busca. Más allá de la belleza —y es de lo más bello que ha dado el campo—, este trabajo fundó la interpretabilidad visual moderna. Ver dentro de la caja negra empezó exactamente aquí.

Abrir el original ↗articulo0 visitas · 0 lectores

Chris Olah, Alexander Mordvintsev, Ludwig Schubert · Distill

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Entender la dinámica de difusión muestra cómo se crea una imagen paso a paso; saltar a las imágenes que excitan neuronas revela qué patrones internos y atajos el modelo realmente ha aprendido, conectando mecanismo generativo con sus motivos ocultos y facilitando diagnóstico.»
MIMarco Ibáñez
Generar imágenes deshaciendo ruido: la idea contraintuitiva detrás de la difusiónPDF
«A te muestra en abstracto qué patrones excitan a cada neurona; B te deja ver cómo esos mismos filtros transforman imágenes reales y se combinan capa a capa. Juntas conectan las preferencias sintéticas de una neurona con su efecto compositivo en el procesamiento real.»
MIMarco Ibáñez
Una CNN transparente: mira cada convolución transformar la imagen, capa a capaWeb