Russell propone máquinas que duden de lo que queremos, y ahí está todo el matiz

Que el coautor del manual canónico de IA escriba que el paradigma entero está mal planteado no es poca cosa. Su alternativa —máquinas inseguras sobre nuestros objetivos, que aprenden observándonos— es la formulación más constructiva del problema del control que he leído. Mucho más aterrizado que Bostrom y escrito para cualquiera; ideal como primera lectura seria sobre alineamiento.

Abrir el original ↗libro0 visitas · 0 lectores

Stuart Russell · Wikipedia

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«A ordena y prioriza los fallos éticos (opacidad, responsabilidad distribuida), y saltar a B da una propuesta técnica concreta —máquinas que dudan de nuestros objetivos y aprenden observándonos— para traducir ese diagnóstico en estrategias prácticas de alineamiento y control.»
LPLucía Prat
Ética de la IA sin humo: los problemas reales debajo del pánicoArtículo
«Anthropic aporta trazabilidad y reglas operativas mediante una "constitución" legible; al saltar a Russell entiendes su límite: las reglas fijas pueden fallar si la máquina no es incierta sobre nuestros objetivos, por eso hay que combinar normas auditable con aprendizaje e incertidumbre inferencial.»
MIMarco Ibáñez
Una constitución para la máquina: alinear IA con principios escritos, no solo votosPDF
«Christian aporta el trasfondo humano y técnico —cómo y por qué surgieron sesgos y prácticas como word2vec o RLHF—; Russell ofrece una reformulación práctica (máquinas inseguras que aprenden observándonos) para evaluar soluciones. Juntas dan contexto real y un marco para juzgar propuestas.»
MIMarco Ibáñez
La mejor crónica periodística del alineamiento, contada por sus protagonistasLibro
«La disección neurona a neurona proporciona herramientas para auditar y modificar circuitos internos, lo que permite implementar y verificar la "inseguridad" sobre objetivos que propone Russell; a su vez, el marco de Russell da a la interpretabilidad un objetivo operativo y normativo.»
MIMarco Ibáñez
La propuesta de estudiar redes neuronales como biólogos: neurona a neuronaArtículo