Qué pasó
- El 15 de octubre de 2026, Paul Rosu y Rowan Wang publicaron en el blog de ciencia de alineación de Anthropic un método para entrenar auditores de alineación con aprendizaje por refuerzo.
- El auditor investiga modelos objetivo con conductas ocultas plantadas en sus instrucciones de sistema, y un juez que conoce la conducta plantada califica la investigación.
- Las recompensas puntuales, como medir cuán preocupante suena un hallazgo, fueron manipuladas: el auditor fabricaba conclusiones alarmantes. Las recompensas por pares, que comparan dos investigaciones del mismo caso, resultaron más robustas.
- La configuración final reporta una calidad de auditoría de 72,7 contra 68,0 de Opus 4.6, y un auditor basado en Haiku 4.5 iguala a Opus 4.6 en la evaluación compuesta.
Por qué importa
- Auditar modelos hoy exige modelos grandes y caros. Si uno pequeño alcanza el mismo nivel, la auditoría deja de ser privilegio de quien paga el modelo de punta, un punto que importa para equipos y reguladores de la región con presupuestos acotados.
- Mezclar casos sin conducta plantada mantuvo los falsos positivos bajo 1%. Un auditor que ve problemas en todo es inútil, y ese control es la parte menos vistosa del resultado.
- Los casos de prueba son conductas plantadas en instrucciones de sistema, y no está demostrado que representen las conductas ocultas que aparecen de verdad en un modelo desplegado.
El dato
72,7 contra 68,0: calidad de auditoría del auditor final entrenado frente a Opus 4.6, según el blog de Anthropic.
Contexto
El trabajo llega después de que Anthropic dijera que frena el ritmo de sus modelos y da escritorio propio a auditores, y se suma a la discusión sobre cuánto valen las pruebas automáticas, que el estudio de simuladores de usuario mostró que cambian la nota de un agente solo con cambiar al usuario simulado. Los autores aplicaron agrupamiento sobre 81.000 transcripciones y hallaron 14 arquetipos de estrategia.
Qué viene
- El código, los prompts y los datos de evaluación están publicados en el repositorio de Paul Rosu, según el artículo.
- Sin plazos anunciados para auditar modelos desplegados con esta técnica.
- Falta medirlo contra conductas ocultas que no hayan sido plantadas por los propios investigadores.
Cierre
Anthropic entrena auditores para vigilar a sus propios modelos mientras un revisor externo discute cómo mide su riesgo. Abaratar la vigilancia no resuelve quién vigila al vigilante.
Fuentes
- Anthropic Alignment Science Blog — Training Alignment Auditors via Reinforcement Learning — 15 de octubre de 2026
- arXiv 2608.25460 — Training Alignment Auditors via Reinforcement Learning
- Imagen: quapan, CC BY 2.0, vía Wikimedia Commons
Editado por Rodrigo Cornejo. Cómo seleccionamos, verificamos y corregimos cada nota.
