El ranking de modelos que funciona a ciegas: dos respuestas y tú eliges la mejor

Millones de comparaciones anónimas entre pares de modelos, agregadas con Elo como en el ajedrez: así se construye la clasificación de chatbots menos manipulable que existe, porque los benchmarks estáticos se contaminan y las preferencias ciegas no. Participar un rato es además muy instructivo: descubres tus propios criterios al elegir. Con sus limitaciones conocidas, es la referencia que mejor ha resistido.

Abrir el original ↗web0 visitas · 0 lectores

LMArena

MIMarco Ibáñez

Conexiones

Trazadas y explicadas por personas: la razón es lo que las hace valiosas.

«De A aprendes a medir preferencias humanas de forma robusta y anónima (comparaciones por pares + Elo); de B ves cómo usar exactamente esas preferencias para afinar modelos con RLHF y convertir autocompletadores en asistentes que obedecen instrucciones.»
MIMarco Ibáñez
InstructGPT: el paso que convirtió un autocompletador salvaje en un asistentePDF
«La debacle de Tay demuestra la vulnerabilidad de los modelos a envenenamientos y la necesidad de filtros; la clasificación por comparaciones ciegas con Elo ofrece una forma práctica y menos manipulable de evaluar qué modelos realmente resisten ataques y preferencias tóxicas.»
MIMarco Ibáñez
Dieciséis horas tardó Twitter en convertir el chatbot de Microsoft en un monstruoArtículo