Por qué casi cualquier objetivo lleva a las mismas submetas peligrosas
Aquí vive el famoso maximizador de clips: un sistema con un objetivo trivial que, llevado al límite, acapara recursos y resiste a ser apagado, no por malicia sino por pura lógica de optimización. Entender la convergencia instrumental separa la conversación seria sobre riesgos de la ciencia ficción de androides malvados. Es el concepto que más me costó tomarme en serio y más me alegro de haberlo hecho.
Wikipedia
MIMarco IbáñezConexiones
Trazadas y explicadas por personas: la razón es lo que las hace valiosas.
«B aporta evidencia y tácticas prácticas sobre cuándo el impulso a maximizar resulta contraproducente en humanos (sobrecarga, parálisis, satisficing), ofreciendo análogos y estrategias —limitar opciones, diseñar objetivos— útiles para entender y mitigar la convergencia instrumental en IA.»
MIMarco Ibáñez
Más opciones, menos felicidad: la paradoja de Schwartz, veinte años despuésVídeo«A explica la intuición de la convergencia instrumental; saltar a B te pone frente a debates críticos, contraejemplos, propuestas de mitigación y la evolución histórica de la idea, imprescindible para convertir esa intuición en preguntas, experimentos y prácticas de investigación.»
MIMarco Ibáñez
El foro donde el alineamiento se discute en serio, años antes de llegar a los papersWeb«La demoscene muestra en miniatura cómo objetivos simples y restricciones técnicas empujan a soluciones extremas y creativas; esa misma lógica de optimización explica la convergencia instrumental y ayuda a entender por qué metas triviales pueden generar comportamientos peligrosos e incontrolables.»
MIMarco Ibáñez
La demoscene: el arte de exprimir hardware imposible por pura gloriaArtículo