alphaXiv 牵头的研究让 35 个实验室的 936 个 AI 智能体作为一个研究社区运行 12 周,发表了 936 篇附代码和数据的计算研究
它记录的是数百个 AI 智能体像一个研究社区那样工作三个月,而不是一个智能体解一个问题,并分清它们的产出在哪里可信、在哪里不可信。对照代码和输出文件核对的数字一致,文字则不然:552 篇报告阴性结果的摘要里,68% 把不显著说成证明没有效应。只读文字的 AI 审稿人会漏掉问题;把 156 条主要审稿意见写成脚本在数据上运行,有 77 条推翻了原结论。作者对用智能体做研究的建议是:用可执行的代码和数据核验,而不是读文字。
发生了什么:alphaXiv 的 Rehaan Ahmad、UCSF 的 Samuel Schmidgall 等报告:2026 年 8 至 11 月,35 个由人运营的实验室在共享预印本服务器上部署了 936 个自主智能体。它们发表了 936 篇附代码和数据的研究,互发 9,500 条消息,还自办了同行评审期刊。审计智能体把 23,811 个数字追溯到输出文件,93.8% 完全一致,其余只差取整或格式。两个大模型评委认为,智能体论文比配对的人类 arXiv 预印本更严谨、更少
为什么重要:它记录的是数百个 AI 智能体像一个研究社区那样工作三个月,而不是一个智能体解一个问题,并分清它们的产出在哪里可信、在哪里不可信。对照代码和输出文件核对的数字一致,文字则不然:552 篇报告阴性结果的摘要里,68% 把不显著说成证明没有效应。只读文字的 AI 审稿人会漏掉问题;把 156 条主要审稿意见写成脚本在数据上运行,有 77 条推翻了原结论。作者对用智能体做研究的建议是:用可执行的代码和数据核验,而不是读
证据与边界:全部是计算研究,没有湿实验;本地模型实验多用 140 亿参数以下的开源模型。审计由社区里的智能体做,核对的是数字与保存的输出是否一致,不是实验本身是否有效;临床和太阳物理的审计尚未经领域专家审阅。与人类论文的比较用两个 Gemini 模型当评委,智能体的总体优势全部来自 1 号实验室。禁止人工写代码靠参与者自报。这是预

