Qué pasó
- Cinco autores, entre ellos David M. Schultz y Alexandra K. Anderson-Frey, publicaron el 3 de noviembre de 2026 en arXiv una prueba de seis herramientas de IA para hacer revisiones de literatura científica.
- Las evaluaron en cuatro etapas: encontrar artículos, interpretarlos, sintetizarlos y proponer investigación futura.
- La vara de medida fue una revisión ya publicada sobre la pluma española, un patrón meteorológico, y su corpus de 102 artículos.
- En las búsquedas iniciales, cinco herramientas identificaron en conjunto 57 artículos y la mejor llegó a 42. Con acceso institucional a bibliotecas, Codex pasó de 42 a 82 y Claude Code de 15 a 79.
Por qué importa
- Muchos estudios prueban tareas sueltas. Este revisa el proceso completo, que es como se usa una revisión en la práctica.
- El salto con acceso institucional muestra cuánto depende el resultado de lo que el modelo puede leer, no solo de lo que sabe hacer.
- Una síntesis con citas erradas o con un consenso exagerado puede dar forma a la agenda de un área si nadie la revisa.
El dato
40% a 79%. Es la parte de las 84 menciones de paso que las herramientas clasificaron por error como tratamiento sustancial del tema. En cambio, las tres que recibieron el corpus completo identificaron bien los 18 artículos que sí trataban a fondo la pluma española.
Contexto
Dos especialistas evaluaron a ciegas las síntesis de tres herramientas. Las encontraron mayormente correctas, pero con poca capacidad de aporte, y a veces con afirmaciones sin respaldo, errores de cita y exageraciones sobre el grado de consenso.
Las tres herramientas propusieron líneas de investigación más amplias que la literatura sobre el tema; dos se acercaron a preguntas identificadas en la revisión de referencia. Ninguna rindió mejor en todas las tareas, y los autores entregan ocho recomendaciones para quienes las usen. Como trabajo en arXiv, todavía no pasa por revisión de pares.
En Mamífero hemos seguido este debate. Contamos que ocho investigadores proponen estudiar los modelos de lenguaje con tests de psicología y que premiar cada paso de búsqueda vuelve más fiable a un agente. También que Pinal diseña proteínas a partir de una frase y que seis modelos escribieron 148.000 textos políticos en un experimento sobre neutralidad.
Qué viene
- Las recomendaciones del estudio apuntan a usar estas herramientas para descubrir e interpretar, sin ceder la evaluación de la evidencia.
- Repetir la prueba en otros temas diría si el resultado se sostiene fuera de la meteorología.
- Las versiones de las herramientas cambian rápido, lo que obliga a repetir mediciones como esta.
Cierre
Las herramientas encuentran más cuando se les abre la biblioteca, pero distinguir una mención de paso de un aporte real les sigue costando. Ese criterio, según este trabajo, aún no se puede delegar.
Fuentes
- Al Kalbani, A., Schultz, D. M., Anderson-Frey, A. K. y otros, “Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark”, arXiv, 3 de noviembre de 2026, 2611.05459. Preimpresión sin revisión de pares; la nota se basa en el resumen.
- Imagen de portada: Vmenkov, CC BY-SA 3.0, vía Wikimedia Commons
Editado por Rodrigo Cornejo. Quiénes escriben las notas
