发生了什么
- 五位作者（包括 David M. Schultz 和 Alexandra K. Anderson-Frey）于 2026年11月3日在 arXiv 发表了对六款 AI 工具进行科学文献综述的测试。
- 他们从四个环节评估这些工具：查找论文、解读论文、综合论文，以及提出未来研究方向。
- 评判基准是一篇已发表的关于“西班牙羽流”（一种天气现象）的综述及其 102 篇论文的语料。
- 在最初的检索中，五款工具合计找到 57 篇论文，表现最好的一款找到 42 篇。获得机构图书馆访问权限后，Codex 从 42 篇增加到 82 篇，Claude Code 从 15 篇增加到 79 篇。
为什么重要
- 许多研究只测试孤立的任务。这项研究考察的是整个流程，而这才是综述在实践中的用法。
- 获得机构访问权限后的跃升说明，结果在很大程度上取决于模型能读到什么，而不只是它能做什么。
- 如果无人核查，引用有误或夸大共识的综述，可能左右一个领域的研究议程。
关键数字
40% 到 79%。 这是这些工具在 84 处顺带提及中，被错误地归类为对该主题进行了实质讨论的比例。相比之下，拿到完整语料的三款工具，正确识别出了深入讨论“西班牙羽流”的 18 篇论文。
背景
两位领域专家对三款工具的综述进行了盲评。他们认为这些综述大体准确，但洞见有限，有时还包含缺乏依据的说法、引文错误，以及对共识程度的夸大。
这三款工具提出的研究方向比该主题的文献更宽泛；其中两款接近基准综述中指出的问题。没有一款在所有任务上表现更好，作者还为使用者给出了八条建议。作为 arXiv 论文，它尚未经过同行评审。
我们在 Mamífero 持续关注这场讨论。我们报道过八位研究者提议用心理学测试来研究语言模型，以及奖励检索的每一步，能让智能体更可靠。还有Pinal 根据一句话设计蛋白质，以及六个模型在一项中立性实验中写出 14.8 万篇政治文本。
接下来
- 这项研究的建议是：用这些工具来发现和解读，但不要放弃对证据的评估。
- 在其他主题上重复这项测试，才能知道结果在气象学之外是否成立。
- 工具版本更新很快，因此有必要重复这样的测量。
一句话总结
向它们开放图书馆后，工具能找到更多文献，但要区分顺带提及和真正的贡献，对它们来说依然困难。按这项研究的说法，这种判断目前还不能交给它们。
来源
- Al Kalbani, A., Schultz, D. M., Anderson-Frey, A. K. 等，“Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark”，arXiv，2026年11月3日，2611.05459。未经同行评审的预印本；本笔记依据摘要写成。
- 封面图片：Vmenkov，CC BY-SA 3.0，来自 Wikimedia Commons
编辑：Rodrigo Cornejo。我们如何挑选和核实：谁在写这些笔记。