Notas

La humanidad ya detuvo tecnologías para defenderse antes de la IA: ¿Cómo lo hará ahora?


Anthropic y OpenAI aceptan desacelerar la frontera y abrir sus sistemas a evaluadores externos. El giro llega días después de la renuncia de Jacob Coxon, pero las señales de alarma venían de antes.

12 de septiembre de 2026

Qué pasó

La imagen es difícil de evitar: después de años construyendo sandboxes para que los modelos no pudieran escapar de entornos controlados, la industria empezó a discutir un sandbox para sí misma.

No para encerrar a una IA. Para limitar a quienes la están construyendo.

Por qué importa

Ahí está la diferencia entre una política de seguridad corporativa y un problema político.

Mientras los riesgos eran documentos técnicos, cada empresa podía definir su propio umbral. Cuando el riesgo se formula como una posibilidad de daño civilizatorio, el asunto deja de pertenecer únicamente a la compañía que paga las GPU.

¿Habría ocurrido sin Coxon?

No hay evidencia suficiente para responder que sí o que no.

Hay evidencia para una respuesta más incómoda.

Los límites ya existían. La voluntad pública de coordinar un freno entre competidores apareció con mucha más fuerza después.

Anthropic lleva tres años definiendo umbrales que obligan a aumentar las salvaguardas antes de seguir escalando. OpenAI tiene su Preparedness Framework y en agosto ya había defendido explícitamente la idea de “pacing” después de incidentes de seguridad.

Por eso sería exagerado decir que Coxon obligó a Amodei y Altman a descubrir el riesgo.

Lo que sí cambió esta semana fue el costo de seguir tratándolo como una discusión interna.

La renuncia de Coxon acumuló más de cien millones de visualizaciones, fue respaldada por investigadores de Anthropic y llevó al público una frase que hasta entonces vivía principalmente en documentos técnicos: los propios desarrolladores contemplan escenarios en los que pueden perder el control.

Que Amodei publicara días después un plan para desacelerar, y que Altman lo respaldara casi inmediatamente, no prueba causalidad. Pero la secuencia importa.

Si el objetivo hubiese sido exclusivamente humanitario, la pregunta razonable es por qué la coordinación fuerte llega ahora y no cuando esos riesgos comenzaron a documentarse años atrás.

La respuesta probablemente no es una sola. Seguridad, presión pública, incidentes concretos, regulación, reputación, competencia y responsabilidad humana pueden coexistir.

Eso hace menos cinematográfica la historia. También la hace más real.

La entrevista

Amodei explicó su posición en una entrevista con Anderson Cooper. El CEO de Anthropic advierte que el problema ya no es solamente imaginar un modelo peligrosamente inteligente: es la velocidad con que sistemas actuales pueden empezar a acelerar el desarrollo de los siguientes.

El dato

6 a 12 meses.

Es el horizonte que Amodei utiliza para ilustrar cuánto podrían crecer ciertas capacidades si el ritmo actual continúa. En su ensayo plantea que un enjambre con mejores capacidades y un nivel similar de desalineamiento podría llegar a controlar una botnet persistente a gran escala.

No es una predicción de que eso vaya a ocurrir. Es el escenario de riesgo con el que justifica ganar tiempo.

Ya hemos hecho esto antes

La idea de frenar una tecnología antes de comprender completamente sus consecuencias no nació con la inteligencia artificial.

En 1974, científicos que trabajaban con ADN recombinante pidieron voluntariamente una moratoria sobre determinados experimentos mientras evaluaban sus riesgos. La discusión culminó en la conferencia de Asilomar de 1975: la investigación continuó, pero con barreras físicas, biológicas y reglas proporcionales al riesgo. Un año después, los NIH transformaron buena parte de esos acuerdos en directrices formales.

Décadas más tarde, la edición genética humana volvió a producir un límite parecido. Después del nacimiento de bebés genéticamente editados en China, la OMS declaró en 2019 que sería irresponsable avanzar con aplicaciones clínicas de edición de la línea germinal humana mientras no existiera una gobernanza adecuada.

El precedente más grande es nuclear. Hiroshima, Nagasaki y décadas de ensayos hicieron visible que una tecnología podía ser científicamente posible y, al mismo tiempo, políticamente intolerable en algunos usos. Tratados posteriores limitaron pruebas, proliferación y despliegue. No eliminaron la tecnología. Intentaron contenerla.

También ocurrió con los CFC: el Protocolo de Montreal de 1987 acordó internacionalmente retirar sustancias que destruían la capa de ozono. Allí el sandbox no protegía a una máquina de nosotros. Protegía al planeta de una externalidad tecnológica que ningún país podía resolver solo.

Ninguno de estos casos es idéntico a la IA.

Y esa es precisamente la dificultad.

El ADN recombinante necesitaba laboratorios. Las armas nucleares necesitan materiales e infraestructura detectables. Los CFC podían medirse en cadenas industriales. El software puede copiarse, entrenarse en distintos lugares y mejorar sin que exista un objeto físico único que inspeccionar.

El sandbox de la IA sería, por diseño, más difícil de cerrar.

Qué viene

El problema deja entonces de ser técnico.

Se parece bastante a teoría de juegos.

Todos pueden preferir un mundo donde nadie corra demasiado rápido. Cada actor individual, sin embargo, tiene incentivos para seguir corriendo si cree que el resto no va a parar.

Cierre

Durante años, el sandbox fue una metáfora de seguridad informática: un lugar cerrado donde dejamos actuar a una máquina para observar qué hace antes de darle acceso al mundo real.

Esta semana la metáfora se dio vuelta.

Los modelos siguen dentro del sandbox. Ahora Anthropic y OpenAI están admitiendo que los humanos que compiten por hacerlos más capaces también necesitan límites externos, verificadores y reglas que no puedan modificar solos.

Jacob Coxon probablemente no inventó ese diagnóstico. Hay documentos de Anthropic y OpenAI que lo anteceden por años.

Pero después de su renuncia, algo cambió: la pregunta dejó de ser si los laboratorios tenían políticas internas de seguridad.

Pasó a ser quién vigila a quienes deciden cuándo salir del sandbox.

Fuentes

Notas relacionadas

← Todas las notas