GPT-3: el paper que mostró que la escala, por sí sola, compra habilidades nuevas

El paper de GPT-3 documentó algo filosóficamente incómodo: escalar un modelo de lenguaje hace aparecer habilidades que nadie programó, del few-shot learning a la aritmética. Es largo, pero la sección de resultados y la de limitaciones —sorprendentemente honesta— se leen bien sueltas. Marca el momento en que escala dejó de ser fuerza bruta y pasó a ser hipótesis científica.

Abrir el original ↗pdf0 visitas · 0 lectores

Tom B. Brown et al. · arXiv

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«B explica cómo la escala produce habilidades emergentes de forma rigurosa; A aporta notas de campo y ejemplos anecdóticos que muestran cómo esas emergencias se manifiestan e interpretan en la práctica, revelando límites de evaluación y el riesgo de sobregeneralizar hacia "AGI".»
MIMarco Ibáñez
El polémico informe de Microsoft que vio chispas de AGI en GPT-4PDF
«Te permite confrontar la apuesta intelectual temprana de Gwern —que escalar predicción genera inteligencia— con la comprobación empírica y los matices prácticos del paper de GPT‑3, viendo cómo una intuición se traduce en resultados, habilidades emergentes y límites documentados.»
MIMarco Ibáñez
El ensayo maximalista que defendió escalar cuando escalar aún parecía una locuraArtículo