AI 智能体开始审计科学知识：从沿用 75 年的数据库错误，到成批复现顶会论文

浙江实验室的理论化学家 Sebastian Pios 用 AI 预测分子沸点时，结果与一套沿用了 75 年的参考数据库对不上。他起初怀疑的是模型，回查原始文献后才确认：至少在这个案例里，错的是数据库。Nature 还报道了两桩类似的发现：一处旧论文里的排版错误，以及一批一个多世纪前测错、后来进了参考资料的沸点数据。^[S1]

靠得住的做法不是“相信 AI”，而是把冲突当成异常信号：模型与参考数据对不上，研究者回到原始文献，最后才定位到错误。AI 没有推翻旧科学，只是让一处本会继续沉睡的矛盾重新显眼到值得去查。^[S1]

与此同时，核查的对象也从单个数值扩大到整篇论文。SAI 的智能体会提取论文的核心主张，获取代码和数据，条件允许时重跑实验，再把结果与论文所报告的逐项对照。Google 的 Paper Assistant Tool 和斯坦福团队的 Paper Correctness Checker 则把核验放在两个不同位置：投稿之前，和发表之后。^[S2][S4][S3]

从一个异常数值，到成批重跑论文

SAI 分析了 168 篇 ICML 2026 的 oral 论文，并对其中 105 篇做了完整复现尝试。它当前的公开报告写明：这 105 篇里有 92 篇至少含 5 条可判定的主张；其中 34 篇复现了超过 40% 的已尝试主张，只有 8 篇超过 80%。^[S2][S1]

8 / 92 是这里最容易被误用的数字，它并不等于“只有 8 篇论文是对的”。自动复现要一连做完主张提取、材料获取、环境重建、代码执行和结果匹配；代码缺文件、依赖失效、数据或 checkpoint 不公开，甚至 agent 自己跑错，都会把分数压下来。^[S2][S1]

即便如此，流程跑不通本身也有信息量。SAI 报告列出的常见问题包括：代码按发布时的状态跑不起来、实验描述不够详细、运行结果与论文对不上；还有四篇论文依赖已经退役的模型。这次审计首先量到的，是一篇论文从行文走到可验证结果，这条路有多脆弱。^[S2]

先查那些答案相对明确的错误

Federico Bianchi、James Zou 等人有意把 Paper Correctness Checker 的任务收窄：只查公式、推导、计算、图和表里的客观错误，不评判新颖性、重要性或写作质量。研究团队从标出至少一处实质错误的论文里随机抽了 60 篇，由论文作者们逐条人工复核这 60 篇里标出的 316 条问题，确认其中 263 条，精确率为 83.2%。召回率另用 90 个人为植入的错误测得 60.0%，真实错误上的召回率没有测。^[S3]

在这项分析里，NeurIPS 论文每篇检出的平均错误数从 2021 年的 3.8 个升到 2025 年的 5.9 个，增加 55.3%。这并不能证明“AI 让论文变差了”：论文数量、复杂度、研究方式和审稿负担同期都在变。它说明的是，核验一旦能按同一标准批量跑起来，纵向审计才成为可能。论文自己把检出数当作保守的下限：召回约六成，漏掉的错误不在统计里。^[S3]

核验正在往上游走，走到发表之前

Google 把 Paper Assistant Tool 开放给 STOC 和 ICML 的作者，定位是投稿前的一轮私密反馈，而不是替代正式审稿。在 733 名参与调查的 ICML 作者中，35.4% 表示它指出了需要花不少功夫才能补上的实质性理论缺口，31% 因为这些反馈补做了新实验。^[S4]

于是核验系统占住了两个位置：发表之前，帮作者拦住新错误进入文献；发表之后，重新审计已经进入科学语料的论文和数据库。前者更像质量控制，后者是在偿还多年积下的验证欠债。

AI4S 过去最受关注的是生成：提出新分子、新蛋白、新材料、新假设。但科学知识不是候选数量的总和，而是一组可被检查、复现和修正的主张。生成继续提速，验证吞吐量却原地不动，验证欠债就会不断累积。^[S4]

Pios 的案例还说明，文献和数据库本身就是科学基础设施。一个数值从实验走进论文、手册和数据库，再走进后来的实验和模型；传得越久，离它的原始出处往往越远。让旧知识重新可审计，省下的不只是审稿人的时间，更是在维护训练数据和科学决策的地基。^[S1]

AI 核验不必取代最好的专家才算有用。只要它能以很低的边际成本扫过大量文献，稳定地找出一部分值得深究的异常，并把佐证交到研究者手里，科学核验的成本结构就已经变了。^[S1]

Nature 把成熟度不同的案例放在了一起。

沸点那桩是 Nature 报道的研究者自述，没有对应的原始论文；SAI 是公司公开的在线审计；Paper Correctness Checker、PAT 和 SPOT 则是预印本。它们凑不成一个可比的“AI 核验准确率”。^{[S1][S2][S3][S4][S5]}

五组材料并排看：研究、对象、样本、指标、验证方式

Nature 报道的沸点案例。

对象是一套参考数据库里的单个数值；样本是一个案例；没有指标；验证方式是研究者回到原始文献。它是说明性案例，说明 AI 的分歧能把人引向错误，不衡量任何系统的准确率。^[S1]

SAI 审计。

对象是 ICML 2026 全部 168 篇 oral；105 篇完整复现尝试，92 篇至少有 5 条可判定主张；指标是每篇已尝试主张的复现比例（含缩小规模的运行）；验证方式是与论文报告的结果比对，另把审查意见与 OpenReview 上的人类审稿对照：两位以上审稿人都提到的意见，78% 被 SAI 覆盖。复现结果本身没有人工复核，SAI 也说它仍是 beta、会出错。^[S2]

Paper Correctness Checker。

对象是 2,100 篇 ICLR、NeurIPS 论文和 400 篇 TMLR 论文里的客观错误；指标是精确率 83.2%（60 篇、316 条标记，作者团队复核）和召回率 60.0%（90 个植入错误）。^[S3]

Google PAT。

对象是 STOC（124 名受访作者）和 ICML（733 名）投稿前的论文；指标是作者自报，比如 ICML 作者中 35.4% 说它指出了要花一小时以上才能补的理论错误、31% 补做了新实验；另在 SPOT 的 29 个错误上测召回，每个评分由作者之一人工核对。^[S4]

SPOT 基准。

对象是十个学科的 83 篇已发表论文、91 个引发过勘误或撤稿的错误，经原作者和标注者交叉确认；指标是召回率、精确率和 8 次运行的一致性；它测的是通用大模型，不是上面某个专门系统。^[S5]

复现失败率不是论文错误率。

在 92 篇至少含 5 条可判定主张的论文里，34 篇复现了超过 40% 的已尝试主张，8 篇超过 80%。8 / 92 这个结果同时取决于论文附带的材料、环境依赖、资源可得性、评测口径和 agent 本身的能力。它说明的是端到端自动验证很难，不能改写成“84 篇论文是错的”。^[S2]

核验系统自己也得先被验证。

SPOT 收集了十个学科的 83 篇论文和 91 个严重到足以引发勘误或撤稿的错误。在它 2025 年 5 月的评测中，没有模型的召回率超过 21.1%、精确率超过 6.1%（都是 o3），8 次独立运行也很少重复找到同一处错误。一年后 Google 的 PAT 论文从中挑出 26 篇数学/CS 论文的 29 个公式与证明错误，PAT 召回 89.7%、Gemini 3.1 Pro 单次调用 55.2%；但它用的是判断逻辑等价的宽松评分器，作者自己说与 SPOT 原数字不能直接比。就今天而言，合适的角色是分诊，不是裁决。^[S5][S4]

查客观错误和评判科学价值，是两回事。

公式符号、表格自相矛盾、代码能否重跑、数据出处，这些通常有相对明确的判据；新颖性、重要性和解释则需要领域背景和价值判断。现有系统有意保留这条属于人的边界。^[S3][S4]

验证不只发生在实验室里

实验验证问的是：模型提出的候选经不经得起与现实接触。知识验证问的是：论文、数据库和手册有没有如实记录现实。两者对象不同，做的却是同一件事：不让未经核验的结果流进下一轮学习和决策。

发表不该是知识就此冻结的时刻

更健康的知识生命周期也许是：发表 → 被复用 → 定期审计 → 被修正。AI 让后两步在大规模文献上开始变得可以设想。

先把机械却昂贵的检查自动化

公式、计算、图表是否一致、代码能否跑通、引用出处核查，都很费时间，判据却往往比较明确。让 AI 把覆盖面铺开、人保留判断和裁决，比让模型直接决定接收或拒稿更符合眼下的能力。

生成扩大规模，验证也得跟着扩大

AI 把写代码、分析数据和成文的成本压下来之后，科学产出还会继续增长。验证能力若不同步扩大，后来的研究就会建在越来越难检查的地基上。

查出错误之后，瓶颈变成让修正传下去

确认一个沿用 75 年的数据库数值有误，只是第一步。修正还得追到抄录过它的数据库、引用过它的论文、依赖过它的实验，以及学过它的模型。完整的链条是：检测 → 核实 → 裁决 → 修正 → 传播。