Qué pasó
- Ehsan Barkhordar y Surendrabikram Thapa probaron si un modelo comercial puede reconocer código que él mismo escribió. El paper entró a arXiv el 24 de septiembre de 2026 con código y datos publicados.
- Cinco modelos generaron soluciones para las pruebas MBPP, HumanEval y DS-1000, y otros siete para MBPP. Después actuaron como evaluadores en cuatro tareas: elegir su propia solución de un par, juzgar si una solución suelta era propia, identificar cuál de dos soluciones escribió un modelo nombrado, y juzgar calidad a ciegas.
- Al juzgar una solución aislada, la exactitud balanceada quedó entre 49% y 58% en las quince combinaciones de modelo y prueba. La exactitud cruda varió entre 38% y 67%, y esa variación refleja sobre todo con cuánta facilidad cada modelo se declara autor.
- En la tarea por pares, el acierto en catorce combinaciones de evaluador y contrincante correlaciona en r = 0,93 con la frecuencia con que la solución del propio evaluador era la más larga.
Por qué importa
- La motivación del paper es práctica: si un modelo reconoce lo suyo, va a favorecerlo cuando actúe como juez, y dos modelos vigilándose pueden acabar coludidos. El resultado descarta la primera parte del temor, y con eso descarta también la defensa que se apoyaba en ella.
- Para cualquier equipo que evalúe contenido o código con un modelo como árbitro, la conclusión operativa es dura: lo que se está midiendo puede ser el largo del texto. Un proveedor que exhibe exactitud cruda sin exactitud balanceada está mostrando una cifra que no dice qué acertó.
- Los autores normalizaron el código quitando comentarios, docstrings, anotaciones de tipo y nombres locales, sin perder desempeño funcional. Diez de doce resultados volvieron al azar, y la preferencia por lo propio de Claude Haiku desapareció. El estilo superficial era la señal, no el autor.
El dato
r = 0,93 entre el acierto del evaluador y la frecuencia con que su propia solución era la más larga.
Contexto
La discusión sobre qué pasa cuando un contenido parece hecho por una máquina suele asumir que la marca de origen es detectable. La alternativa que se está construyendo va por otro lado: un verificador de credenciales que confirma la firma sin probar el contenido.
Qué viene
- Sin plazos anunciados. El código y los datos ya están publicados y el paper cierra con tres recomendaciones de reporte: exactitud balanceada, líneas base heurísticas y consistencia de etiquetas.
Cierre
Quien venda detección de contenido generado por IA apoyándose en que el modelo se reconoce a sí mismo tiene un problema de método antes que uno de producto: la señal que mide es la extensión del texto.
Fuentes
- Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models, arXiv 2609.30048, 24 de septiembre de 2026.
Editado por Rodrigo Cornejo. Cómo seleccionamos y verificamos: quiénes escriben estas notas.
