El paper de GPT-3: cuando escalar dejó de ser fuerza bruta y empezó a ser tesis

Setenta y cinco páginas para defender una idea incómoda: no hace falta reentrenar un modelo para cada tarea, basta con enseñarle ejemplos en el propio prompt. Leído hoy parece obvio; en 2020 era casi una provocación. Merece la pena por las gráficas de escalado y por ver cuántas de nuestras prácticas actuales estaban ya aquí en embrión.

Abrir el original ↗pdf0 visitas · 0 lectores

Tom Brown et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«Ir de A a B muestra la transición de una tesis técnica y escalado controlado (GPT‑3: in‑context learning sin reentrenar) a efectos emergentes en GPT‑4 que se examinan con anécdotas y desconcierto; ayuda a calibrar cómo hipótesis de laboratorio se convierten en problemas prácticos y metodológicos.»
MIMarco Ibáñez
El polémico informe de Microsoft que vio chispas de AGI en GPT-4PDF
«Te lleva de la demostración empírica de que el escalado y el in‑context learning crean capacidades (GPT‑3) a la corrección práctica de Chinchilla: para obtener esas capacidades de forma eficiente hay que redistribuir compute hacia más datos/token‑steps y no solo añadir parámetros.»
MIMarco Ibáñez
Chinchilla: el paper que demostró que llevábamos años entrenando modelos a mediasPDF
«Pasar de A a B revela que RAG es el complemento natural del in‑context learning de GPT‑3: la recuperación aporta contexto y ejemplos actualizados que permiten a un modelo grande, sin reentrenar, resolver tareas con más precisión, actualidad y menor necesidad de fine‑tuning.»
MIMarco Ibáñez
El paper que bautizó RAG, la sigla que hoy sostiene medio negocio del softwarePDF
«El Zen aporta criterios de diseño (claridad, explicitar supuestos, evitar excepciones) y el paper de GPT‑3 ofrece evidencia práctica de que la escala y el in‑context learning permiten resolver muchas tareas vía prompts en vez de reentrenar. Juntos te dan principios y pruebas para decidir cuándo imponer reglas explícitas y cuándo delegar comportamiento a modelos grandes.»
MIMarco Ibáñez
El Zen de Python: 19 aforismos que caben en un import y orientan toda una filosofíaWeb