Chinchilla: el paper que demostró que llevábamos años entrenando modelos a medias

La conclusión cabe en un tuit —los modelos gigantes estaban infraentrenados, faltaban datos, no parámetros— pero sus consecuencias reordenaron la industria entera. Me parece un ejemplo precioso de cómo revisar las cuentas de otros con más cuidado puede valer más que cualquier arquitectura nueva. De aquí viene la obsesión actual por los tokens de entrenamiento.

Abrir el original ↗pdf0 visitas · 0 lectores

Jordan Hoffmann et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Te lleva de la demostración empírica de que el escalado y el in‑context learning crean capacidades (GPT‑3) a la corrección práctica de Chinchilla: para obtener esas capacidades de forma eficiente hay que redistribuir compute hacia más datos/token‑steps y no solo añadir parámetros.»
MIMarco Ibáñez
El paper de GPT-3: cuando escalar dejó de ser fuerza bruta y empezó a ser tesisPDF
«LoRA enseña a adaptar modelos grandes con mínimo coste; Chinchilla muestra que el límite real es la cantidad y calidad de tokens de preentrenamiento. Juntos indican invertir primero en datos para obtener una base aprovechable y usar LoRA para especializarla barato.»
MIMarco Ibáñez
LoRA: ajustar un modelo gigante tocando solo una fracción mínima de sus pesosPDF
«Chinchilla aporta la variable crítica (tokens/entrenamiento óptimo): lo que en A se interpreta como un “salto” por tamaño podría ser efecto de infraentrenamiento. Ir de A a B permite convertir la emergencia en hipótesis experimental (variar datos/compute para validar o refutarla).»
MIMarco Ibáñez
Capacidades que aparecen de golpe al escalar: ¿fenómeno real o espejismo métrico?PDF
«A muestra un truco que extrae razonamiento (pensar en voz alta); B explica por qué la robustez y escalabilidad de ese razonamiento dependen críticamente del entrenamiento en tokens: Chinchilla te dice cuándo ese prompting será fiable y cuánto ganará con más datos.»
MIMarco Ibáñez
Pídele que piense en voz alta: el descubrimiento más rentable del promptingPDF