Generar imágenes deshaciendo ruido: la idea contraintuitiva detrás de la difusión

Destruir una imagen añadiendo ruido paso a paso y luego aprender a revertir el proceso: suena a broma termodinámica y es la base de Stable Diffusion, Midjourney y compañía. Las matemáticas imponen, pero la intuición central se entiende sin ellas. Lo recomiendo a quien usa generadores de imagen a diario y quiere saber qué ocurre realmente bajo el capó.

Abrir el original ↗pdf0 visitas · 0 lectores

Jonathan Ho et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Pasar de los GAN a la difusión aclara dos paradigmas: la competencia adversarial que genera imágenes nítidas y rápidas pero puede colapsar modos, frente al enfoque de deshacer ruido que ofrece mayor estabilidad, diversidad y control (p. ej. Stable Diffusion). Conocer ambos revela los trade-offs de diseño y uso.»
MIMarco Ibáñez
Dos redes enfrentadas en un juego de falsificadores: el origen de la IA generativaPDF
«Entender la dinámica de difusión muestra cómo se crea una imagen paso a paso; saltar a las imágenes que excitan neuronas revela qué patrones internos y atajos el modelo realmente ha aprendido, conectando mecanismo generativo con sus motivos ocultos y facilitando diagnóstico.»
MIMarco Ibáñez
Qué ven las neuronas: imágenes alucinadas que revelan el interior de una redArtículo