Ted Chiang: ChatGPT como fotocopia borrosa de internet, la metáfora que hizo fortuna

Chiang compara los LLMs con una compresión con pérdida de toda la web: parafrasean porque no pueden citar, y esa borrosidad la confundimos con comprensión. Como toda gran metáfora, ilumina y a la vez engaña —los modelos posteriores la desafían—, pero discutir exactamente dónde falla es el mejor ejercicio intelectual que conozco sobre LLMs. Escrito, además, como solo escribe Chiang.

Abrir el original ↗articulo0 visitas · 0 lectores

Ted Chiang · The New Yorker

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Chiang da una metáfora empírica: los LLMs son una "fotocopia borrosa" de la web; pasar a la habitación china de Searle convierte esa intuición en la pregunta filosófica clásica —¿parafrasear estadísticamente equivale a comprender o solo a simular comprensión?— y afina los argumentos.»
MIMarco Ibáñez
La habitación china de Searle: cuarenta años dando guerra y más viva que nuncaArtículo
«Chiang ofrece la metáfora crítica que revela por qué tendemos a atribuir comprensión a los LLMs; Wolfram aporta el andamiaje técnico y los experimentos necesarios para verificar, matizar y operacionalizar esa crítica.»
MIMarco Ibáñez
Wolfram explica ChatGPT desde cero en el ensayo largo definitivo para no expertosArtículo
«La demo de Anthropic muestra que la "borrosidad" de los LLMs puede alojar rasgos concretos y manipulables; pasar a Chiang permite evaluar si la metáfora de la compresión perdida sigue siendo útil o si oculta que los modelos desarrollan representaciones discernibles y controlables.»
MIMarco Ibáñez
El día que un modelo creyó ser el Golden Gate: interpretabilidad convertida en demoArtículo
«La metáfora de Chiang explica el mecanismo: la "borrosidad" y parafraseo de los LLM convierte texto externo en acciones plausibles, y al leer Willison se entiende por qué esa característica facilita las inyecciones de prompt y dificulta una solución general.»
MIMarco Ibáñez
Prompt injection: el post que bautizó la vulnerabilidad que aún nadie sabe arreglarArtículo