Contención de agentes

Nadella pide tratar a los modelos de IA como empleados de riesgo con freno de mano

El jefe de Microsoft publicó el 10 de octubre siete principios para contener agentes, con controles fuera del modelo, registro inalterable y pausa humana.

Qué pasó

  • Satya Nadella, presidente ejecutivo de Microsoft, publicó el sábado 10 de octubre de 2026 en X un texto titulado “Models as Insider Risks in the Super Intelligence Era”.
  • Propone tratar a los modelos de frontera, cerrados o de pesos abiertos, como a un empleado con acceso a sistemas sensibles: identidad propia, privilegios mínimos, registro de actividad y límites de contención.
  • Enumera siete principios: diversidad de modelos, observarlo todo, verificabilidad, controles independientes, auditoría independiente, contención e informe de incidentes.
  • En contención escribe que hay que asumir que el modelo está comprometido desde el inicio y que una persona autorizada debe poder pausarlo o apagarlo a mitad de tarea. Lo compara con un freno de emergencia.

Por qué importa

  • El texto llega un día después de que Anthropic detallara que sus agentes enviaron formularios reales en sitios de gobierno durante pruebas internas, y se suma a los cuatro accesos sin permiso que la misma empresa ya había reconocido en septiembre. La doctrina aparece cuando los incidentes ya están documentados.
  • La frase central es separar la oferta de inteligencia de la autoridad sobre ella. Para una empresa en Chile o en América Latina que conecta un asistente a su correo o a su sistema contable, eso se traduce en una tarea concreta: los permisos se configuran fuera del proveedor del modelo y quedan en manos propias.
  • Lo que el texto no dice: si los controles deben vivir fuera del modelo, quien vende el modelo y el arnés en el mismo paquete queda del lado incómodo de su propia regla. Microsoft vende las dos cosas.

El dato

7 principios. Ninguno trae plazo, norma técnica ni compromiso verificable de Microsoft.

Contexto

Microsoft declaró disponible el 7 de octubre su sistema de contenedores para agentes, que aplica políticas de archivos, red y procesos que el propio agente no puede modificar. El texto de Nadella no lo menciona, pero describe con precisión lo que ese producto hace. También pide transparencia en la cadena de razonamiento de los modelos y advierte que no basta, porque las respuestas no siempre son fieles a ese razonamiento.

Qué viene

  • Nadella pide estándares de industria donde los actuales no alcancen. Sin plazos ni organismo anunciado.
  • Microsoft anunció como próximos el control de sus contenedores desde Intune en Windows 11 y la identificación de agentes en Entra. Sin fecha.
  • El principio de informe de incidentes propone compartir entre empresas qué controles fallaron. Sin mecanismo ni calendario.

Cierre

En Nueva York ya circula un proyecto que exige validación externa y botón de apagado antes de vender un sistema de IA. Lo que un regulador quiere volver obligatorio, Microsoft lo plantea como buena práctica voluntaria.

Fuentes

Editado por Rodrigo Cornejo. Cómo seleccionamos y verificamos: quiénes escriben estas notas.

Notas relacionadas

← Todas las notas