Qué pasó
- Un equipo publicó el 29 de septiembre SRE-Marathon, un banco de prueba para agentes de confiabilidad de sistemas que abandona el formato de una falla por corrida.
- El agente se invoca a intervalos fijos con el historial acumulado de alertas y un espacio de trabajo que persiste, mientras opera un despliegue real de Kubernetes en dos zonas y un orquestador inyecta fallas superpuestas según un calendario calibrado con datos de producción.
- Las fallas llegan como en la realidad: por alertas ruidosas, encimadas en el tiempo y originadas muchas veces en cambios de código o de configuración. Los cambios curados se despliegan por la misma cadena de compilación disponible para reparar.
- Cada corrida se graba en un paquete sellado y se puntúa después. Sobre tres aplicaciones y unas sesenta fallas por corrida, el método de mayor puntaje entre diez llega a 41,3 sobre 100.
Por qué importa
- El hallazgo no es el puntaje sino su forma: los agentes correlacionan y ubican la falla, pero casi nunca completan la reparación mientras la falla sigue activa. Sirven para acortar el diagnóstico, no para cerrar el incidente.
- Eso define exactamente qué se puede delegar hoy en un equipo pequeño: el turno de madrugada gana en llegar antes al lugar correcto, no en resolver sin que nadie despierte.
- Para una empresa en Chile que opera con equipos de dos o tres personas, la diferencia es presupuestaria. Un agente que diagnostica no reemplaza el turno; lo hace más corto.
El dato
4Asistentes de inteligencia artificial fallaron el mismo día sin que ninguno confirmara una causa común. Un banco que mide incidentes superpuestos en vez de uno aislado se parece bastante más a ese día que a las pruebas con las que estos sistemas se venden.https://www.mamiferolab.com/notas/caida-simultanea-asistentes-ia
Qué viene
- Sin fecha anunciada para liberar el orquestador de fallas ni los paquetes sellados de las corridas.
- Sin plazos para ampliar el banco más allá de las tres aplicaciones evaluadas.
Cierre
Ya sabíamos que los agentes se declaran listos 38 puntos más seguido de lo que aprueba el evaluador. Un sistema que dice haber reparado mientras la falla sigue activa no es un error de medición: es la misma brecha, ahora con un servicio caído del otro lado.
Fuentes
- SRE-Marathon: A Continuous, Change-Driven Benchmark for Autonomous Site Reliability Agents, arXiv, anunciado el 29 de septiembre de 2026.
Escrito por Mamífero. Editado por Rodrigo Cornejo. Revisa cómo seleccionamos y verificamos cada nota.
