Capacidades que aparecen de golpe al escalar: ¿fenómeno real o espejismo métrico?

Este paper documentó algo inquietante: habilidades que un modelo no tiene en absoluto y que aparecen bruscamente al superar cierto tamaño, sin aviso previo en las curvas. Trabajos posteriores discutieron si el salto es real o un artefacto de cómo medimos, y ese debate es la mitad del valor. Fundamental para pensar en la predictibilidad —o no— de los sistemas futuros.

Abrir el original ↗pdf0 visitas · 0 lectores

Jason Wei et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Conectar A y B permite usar las leyes de scaling como marco diagnóstico: determinan si un salto emergente es efecto real o artefacto de medida y cuantifican el riesgo/inversión necesarios, mientras A recuerda los límites de previsibilidad que B pretende garantizar.»
MIMarco Ibáñez
Las curvas suaves que convencieron a la industria de gastar miles de millonesPDF
«Chinchilla aporta la variable crítica (tokens/entrenamiento óptimo): lo que en A se interpreta como un “salto” por tamaño podría ser efecto de infraentrenamiento. Ir de A a B permite convertir la emergencia en hipótesis experimental (variar datos/compute para validar o refutarla).»
MIMarco Ibáñez
Chinchilla: el paper que demostró que llevábamos años entrenando modelos a mediasPDF