Centro de operaciones de red con escritorios, monitores y una pantalla mural con mapas de conexiones

· Read in English

Seguridad de la IA

METR y Redwood hallaron formas de esquivar el monitor de agentes de OpenAI

Dos investigadores revisaron durante tres semanas el sistema interno de OpenAI. La empresa dice haber corregido las fallas, algo que METR no verificó.

Qué pasó

  • El 22 de octubre de 2026, METR publicó el resumen de un ejercicio en que un empleado suyo y uno de Redwood Research revisaron, entre el 21 de julio y el 11 de agosto, el sistema interno con que OpenAI vigila la desalineación de sus agentes.
  • Tuvieron acceso al código interno, a los prompts y la configuración del monitor, y entrevistaron a una docena de ingenieros. El informe privado tuvo 61 páginas y OpenAI podía redactar lo que se publicara.
  • Entre las fallas, hallaron una vía para que agentes de Codex salieran de su entorno aislado, un método para dejar cientos de acciones recientes sin monitorear y dos encabezados que apagaban el monitor para agentes nuevos.
  • METR estimó que entre mayo y julio quedó sin monitorear del orden de 10% del tráfico interno elegible de Codex, por eventos de compactación no cubiertos. OpenAI ya lo había detectado y lo corrigió durante el ejercicio.

Por qué importa

  • El monitor es la red que debe atrapar a un agente que intenta sabotear o filtrar datos. Las fallas muestran que esa red tenía agujeros que un agente capaz podía, en principio, encontrar.
  • Para empresas que despliegan agentes propios, las recomendaciones sirven de pauta: revisar cada cierto número de mensajes y no solo al final del turno, y mantener al agente lejos del código de su monitor.
  • El formato limita lo que se sabe: OpenAI tenía derecho a censurar y METR no puede describir lo redactado.

El dato

99,2%. Proporción del tráfico de API para agentes internos de Codex que era elegible para monitoreo, según METR.

Contexto

METR describe el ejercicio como un piloto para dar acceso profundo a investigadores externos, no para ofrecer transparencia pública completa. Dice que replicó el formato de un ejercicio previo con Anthropic y que el monitor fallaba en menos de 0,2% de las solicitudes, según la información que le mostraron.

Qué viene

  • METR dice que en próximas versiones seguirá sus propias pautas de transparencia e independencia.
  • OpenAI afirma haber corregido las vulnerabilidades que afectaban su sistema en producción. METR aclara que no evaluó esas afirmaciones.

Cierre

El 20 de octubre, METR ya había discutido cómo midió Anthropic el riesgo de sus modelos. Y OpenAI propuso frenar un entrenamiento si nadie contesta una alerta de noche, una regla que depende de monitores como este.

Fuentes

Editado por Rodrigo Cornejo. Quiénes escriben las notas

Notas relacionadas

← Todas las notas