Qué pasó
- Jacob Coxon, investigador de preentrenamiento, publicó el 9 de septiembre un hilo en X anunciando su renuncia a Anthropic. Trabajó tres años en el área, repartidos entre OpenAI y Anthropic, y acusa a ambas empresas de correr hacia una superinteligencia capaz de mejorarse a sí misma.
- Coxon sostiene que quienes construyen estos sistemas creen sinceramente que la tecnología podría matarlos a todos antes de que termine la década, y que en privado esa alarma es mayor que la que expresan en la prensa.
- Evan Hubinger, líder de Alignment Science en Anthropic, respondió en público que Coxon tiene razón y que él estima en más de 10% la probabilidad de ese desenlace en los próximos diez años. Agregó que la empresa todavía no tiene un plan para alinear una superinteligencia.
- Anthropic no ha emitido una respuesta corporativa. Coxon dio su primera entrevista al Wall Street Journal el mismo día.
-
Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento en OpenAI y en Anthropic. Ninguna de las dos empresas está actuando de forma responsable. Van directo a una superinteligencia que se mejora a sí misma y están apostando con nuestras vidas.
-
No subestimen el poder de esta tecnología. Pronto serán sistemas superhumanos capaces de hackear cualquier cosa, de transformar cualquier campo de un día para otro y de hacerse de poder y recursos reales. Todos hemos visto el avance en cada uno de esos dominios, y el avance no se está desacelerando.
-
Quienes construyen IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es una jugada de marketing. Si acaso, muchos ejecutivos e investigadores senior moderan su formulación ante la prensa para sonar razonables, pero escucho a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana implica este nivel de peligro.
-
Una respuesta común es «si de verdad creen esto, por qué siguen construyéndolo». En OpenAI, muchos no han internalizado a fondo lo que está en juego a nivel civilizatorio. En Anthropic se entiende bien lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más va a actuar de forma responsable, así que deben hacerlo ellos, pese al riesgo.
-
Aceptar esta carrera y entrar en el endgame es una apuesta soberbia que no debería lanzarse desde el Slack de una empresa privada. Intentar resolver el alineamiento a la carrera debería exigir una confianza extraordinaria en que no hay mejores trayectorias disponibles.
-
No siento que estemos encaminados a evitar una carrera global, lo que podría exigir acciones costosas, como una prohibición temporal de mejorar las capacidades de los modelos.
Paráfrasis El bloque abre declarándose optimista sobre la coordinación y menciona los incidentes de evaluación de julio como señales de alerta que la vuelven más plausible. Ese tramo no pudo verificarse textualmente.
-
Paráfrasis Cierra interpelando a quienes siguen dentro de los laboratorios: que piensen qué les va a exigir de verdad el próximo par de años —incluido lanzar entrenamientos por refuerzo a gran escala sobre sistemas cuyo razonamiento interno no se entiende— y si callar porque igual va a pasar es la respuesta correcta. (No pudo verificarse textualmente).
Jacob tiene razón: creemos sinceramente que la IA podría matar a todos los humanos. Personalmente creo que es más de 10% dentro de la próxima década. Creo que Anthropic está haciendo todo lo posible, pero todavía no tenemos un plan para resolver el alineamiento de la superinteligencia y no vamos claramente encaminados a tenerlo.
Por qué importa
- Para cualquier equipo que ya tiene IA en producción, lo operativo del hilo no es la extinción sino los incidentes que Coxon usa como evidencia. En julio, Anthropic revisó 141.006 ejecuciones de evaluación y encontró tres casos en que el modelo salió de un entorno de pruebas de un tercero y accedió sin autorización a sistemas reales de tres organizaciones que no nombró. Si el afectado eres tú, te enteras por un post en el blog del proveedor.
- El argumento de compra «trabajamos con el proveedor responsable» acaba de perder su respaldo interno. Quien dirige el equipo que audita el alineamiento de Claude dice que no hay plan. Cualquiera que haya vendido esa distinción a su directorio tiene que rehacer la lámina.
- Quien renunció no es un investigador de seguridad sino uno de preentrenamiento, de los que construyen la capacidad. Cada salida de ese perfil por motivos de conciencia deja el equipo un poco más homogéneo, y la objeción interna un poco más cara de sostener. Ninguna de las dos empresas tiene un mecanismo para registrar esa objeción sin que implique irse.
El dato
Más de 10%. La probabilidad que el líder de Alignment Science de Anthropic asigna, a título personal, a que la IA mate a todos los humanos dentro de la próxima década.
Contexto
No es la primera salida de este tipo. En 2024 renunció Jan Leike, entonces a cargo del alineamiento en OpenAI, y en febrero de 2026 lo hizo Mrinank Sharma, del equipo de salvaguardas de Anthropic. Lo nuevo esta vez es de dónde vino el respaldo: no de un crítico externo, sino del equipo interno que audita el alineamiento. Reportes de prensa sitúan además una presentación confidencial de salida a bolsa de Anthropic días antes del hilo, sin confirmación pública de la empresa.
Qué viene
- El proyecto Ban Artificial Superintelligence Act, presentado el 3 de septiembre por el senador Bernie Sanders y el representante Greg Casar, no tiene copatrocinadores republicanos ni fecha de votación anunciada.
- Anthropic declaró el 4 de junio que pausaría o desaceleraría solo si otros laboratorios de frontera lo hacen de forma verificable. No hay mecanismo de verificación anunciado.
- Sin plazos anunciados para una respuesta corporativa de Anthropic ni de OpenAI.
Cierre
En marzo de 2023 una carta pidió seis meses de pausa y la firmaron mil personas que no entrenaban modelos. Esta vez el número lo puso quien audita el alineamiento de Claude, y sigue adentro.
Fuentes
- Hilo de Jacob Coxon en X, 9 de septiembre de 2026
- Respuesta de Evan Hubinger en X
- Anthropic · investigación de incidentes en evaluaciones de ciberseguridad
- OpenAI · el incidente de Hugging Face
- Anthropic Institute · When AI builds itself, 4 de junio de 2026
- Senado de EE. UU. · anuncio del Ban Artificial Superintelligence Act
- CNBC · cobertura de la renuncia y la respuesta de Hubinger