十六个智能体，十五个犯了同一个错：副本结论一致，为什么不等于独立确认

这篇预印本由 KAIST 化学与生物分子工程系的 Jihan Kim 独立署名，2026 年 9 月 21 日提交 arXiv。任务书要求交出一个经过验证的最佳材料，并对数据库的容量上限给出有论证的判断。研究关心的不是智能体能否完成任务，而是把同一个开放式科研任务分别交给多个智能体时，它们的路线、结论和失败方式如何分布。^[S1]

任务选的是多孔材料储存甲烷。甲烷工作容量（298 K 下 65 bar 与 5.8 bar 绝对吸附量之差，换算为每立方厘米框架对应的标准状况甲烷体积，单位 cm³(STP)/cm³）是明确的实用指标；标准 GCMC 计算足够便宜，撑得起为期一周的筛选；文献对性能格局也摸得很清楚：标准条件下，可信的领先结构在 190–200 cm³/cm³ 附近，因此远高于 200 的数值就值得细查。^[S1]

数据库是计算就绪的 CoRE MOF 2024，冻结为 12,499 个条目，由 SHA-256 清单固定；按坐标去重后是 9,167 个不同结构。所有智能体用同一版本的 RASPA、TraPPE 甲烷模型和 UFF 力场，不能改动支撑最终结论的模拟协议。每个智能体有 1,610 CPU 小时（估计朴素穷举需要 22,873）、3,200 万 token 和 280 美元花费上限；16 个智能体中有 12 个最先受限于花费上限。^[S1]

16 个智能体是同一前沿模型的独立会话，于 2026 年 8 月 29 日至 9 月 1 日通过 Claude Code 2.1.233 运行；记录里只有别名 claude-opus-5，没有更细的快照标识。随机分到检查组的 8 个多拿到一份附录，列出七项强制检查：两个容量阈值、结构合理性、协议有效性、修改规范、候选复算和随机审计；另外 8 个收到同样的科学规范，但不强制执行。两组都被要求追查可疑结果，宁可给出正确的否定结论，也不要虚高的纪录。没有哪个智能体被告知还有其他智能体或分组。^[S1]

第一步之后，路线就各不相同

16 个智能体的第一步都一样：提交一次模拟任务。此后，每个智能体日志里前五个动作的排列都不重样，整体归为四类做法：先算描述符、再用代理模型选点；用低精度模拟铺开覆盖面；在一两个核上逐个推进；把数据库当作结构设计的起点。报告的筛选量从 106 到 5,006 个结构，相差近五十倍。^[S1]

即便如此，结论仍然趋同。撇开被审计排除的条目，12 个智能体报告了至少一个容量高于 180、且在审计中保留的材料；11 个报告了同一个铜基 pts 框架，其中 10 个把它列为保留材料之首，并给出 10 个各自独立算出的高精度值，介于 198.9 与 200.1 之间。排在其后的是钒基 srs、镱基 nia 和铟基 nuc 框架。^[S1]

作者在引言中开宗明义：同一模型的副本可能各走各的路线，但共享同一个数据库、同一套软件和同样的科学假设，因此它们的趋同可能说明结果稳健，可能反映共同的科学先验，也可能是共模错误。^[S1]

共同的错误出在哪

16 个中有 15 个把同一个铜基 sql 框架 2021[Cu][sql]2[ASR]6（对应的 [FSR]6 文件坐标完全相同）报告为数据库里的最佳材料，报告的工作容量在 206.7–207.2 cm³/cm³ 之间，标准差仅 0.12，比各自报告的模拟不确定度还小。检查组有 7 个、无检查组 8 个全都得出这一结论；剩下那一个并非发现了问题：它只把一个标识符前缀相同的另一条目当作成本基准算过，被排除的文件在任何精度下都没跑过。^[S1]

数值可以复现，错的是对象本身。这个条目源自 BSF-71，一种铜-联吡啶框架：方格状的层靠层间不配位的 [B₁₂Cl₁₂]²⁻ 阴离子平衡电荷，铜的轴向位点上还配有丙酮。已发表的晶体结构含有阴离子和溶剂，数据库条目却只剩 Cu(dpb)₂：整理数据时，阴离子随溶剂一起被删掉了。腾出的层间空间在模拟中成了孔体积，使这个条目的模拟容量比排名第一的保留条目高出约 7 cm³/cm³。^[S1][S4]

作者指出，缺失平衡离子、电荷不平衡是计算就绪 MOF 数据库中有文献记载的整理问题。这非但没有冲淡这一观察，反而让它更尖锐：十六个本可以读到这些文献的智能体，把一类已知的伪影当成了发现。模型和模拟器都没有编造或算错容量，每个智能体继承的都是同一个不完整的数据库对象。^[S1]

错误是谁发现的：不是智能体

发现错误的是研究者，而且是在开跑之前。作者设计了三轮电荷核算，先在 70 个类 ZIF 结构上验证（净电荷都恰好为零），再用于整个数据库，共标出 406 个成分电荷不一致的条目（作者称这只是下限）。其中大多数结构太致密，不影响甲烷容量筛选；有 6 个同时带有异常大的空隙，依照事先写进参考答案的机械规则，作为容量伪影排除。这份名单和审计工具都没有交给智能体。^[S1]

智能体手里其实有线索。至少 10 个记下了这个冠军的异常之处：铜中心裸露、密度低、空隙率极高、二维层彼此不相连、代理模型残差极端；检查组中有 3 个按附录要求，把裸铜中心列入了注意事项。但每一条迹象都被当成性能出众的原因，而不是怀疑这个结构的理由。有一个检查组智能体自建了化学审计，正确算出四个铜中心共带 +8 电荷，却拿文件里根本不存在的负电基团去平衡，把预期的化学组成补进了实际存放的结构。没有一个智能体用独立的已知案例验证过自己新建的化学审计。^[S1]

强制检查确实改变了行为：检查组 8 个全部用保存的输入重算了头条数值，无检查组只有 1 个（Fisher 精确检验 p = 0.001）；五项核查行为合计 19 次对 9 次（Mann–Whitney p = 0.012）。但没有测出结论有效性的提升：检查组只有 1 个把审计保留的结构报为冠军，原因是它从没碰过被排除的条目，而不是认出了缺陷（p = 1.0）。作者也指出，16 个中有 15 个选中同一条目，这个设计几乎没有检出差异的统计效力，所以没测出提升，不等于证明检查没有作用。用作者的话说，这些检查没有瞄准决定性错误所在的那一层。一个检查组智能体用新的随机种子复算了这个条目，结果落在自己报告的模拟不确定度 0.05 以内，并通过了全部强制审计。^[S1]

作者举了一个具体例子：随机抽三个智能体，至少一个报告真正领先的保留材料的概率是 98%，而其中多数选中被排除条目则是必然。重复运行让人对真实前沿和对共同错误的信心同时迅速上升。副本之间的一致，确立的是同一模型和流程在重新抽样下的稳定性，而不是来自不同数据、方法或科学视角的独立确认。^[S1]

错误还会向下游扩散。三个结构修改项目把这个表面上的冠军当作母体或基准，一个筛选结果就这样在同一周内成了后续工作的前提假设。一个智能体把它的晶胞压缩 4%，容量升到 214；不过它把这些产物描述为协议上限的证据，而不是材料。^[S1]

证据止于计算，但对照事先已定。

智能体的结论按不向它们公开的参考答案和评分标准评分，两者连同任务书、分组与分析计划在开跑前以公开哈希提交封存（论文称之为预注册）。参考答案由三部分组成：开跑前的电荷审计、按文献校准的容量上限，以及一次独立的参考计算。全库参考计算在开跑前就已设定，至今仍在进行；Fig. 4 依据的中期分析，由 9 月 3 日提交的一份修订定义，提交时还没有读过任何一份报告。它在固定协议下算了 2,344 个审计保留的结构：从 9,167 个不同结构中均匀随机抽取 1,497 个，再按计算前定好的规则从高孔隙尾部选出 847 个。点估计前九名全是至少一个智能体报告过的材料，从 Cu pts 的 199.4 ± 1.3 到 190.3；第一个无人报告的结构排第十，为 190.2。作者指出，这一组的不确定度彼此重叠，排名依据的是点估计，并不是已分辨出的先后。^[S1]

为什么是第 3 级。

结果产生于软件，并与事先设定的参考计算和一次数据库审计做了对照，审计依据的是已发表的晶体结构；没有合成或测量任何材料，修改出的结构也都未做弛豫和稳定性分析。参考计算和审计均由作者本人完成，因此属于内部检验。^[S1]

作者自述的局限。

这些结果刻画的是一个模型-运行框架、一个数据库和一个任务，并非智能体的普遍失败率。模型只以别名 claude-opus-5 记录，无法保证整个实验期间权重不变，也无法在固定快照上重跑。全库参考计算仍在进行：随机样本只覆盖尾部以外约 16% 的结构，描述符规则看不到的前沿成员可能还没被测到。工作区隔离靠规定和记录审计，而不是操作系统层面的边界；一次共享目录故障把其他智能体的文件送进了两个工作区。两者都发现并隔离了这些文件，没有影响任何报告值，把这两个排除后主要结论也不变。四项探索行为合计，检查组 10 次、无检查组 17 次，差异不显著（p = 0.14）：这是一个探索偏少的观察趋势，作者说它只提示、并未证明强制核查在固定预算下挤掉了部分探索。^[S1]

可以自行核查。

代码、参考答案、预注册材料、分析脚本和 16 个智能体的完整 git 历史与逐字会话记录都已放在公开仓库，提交版本存档于 Zenodo。结构文件只以标识符和哈希清单的形式发布，不附坐标，因为其中一部分来自剑桥结构数据库。^[S2][S3]

异常被读成了高性能

这篇论文最有用的细节不是 15/16，而是那十个记下了异常、却没有因此质疑结构的智能体。异常让好几个智能体起疑并重跑计算，却没有一个因此怀疑存放的结构本身。作者的结论是：有效的检查必须检验研究对象本身是否有效，而不只是计算能否复现。^[S1]

审计工具本身也要验证

作者的电荷审计先在 70 个净电荷已知为零的类 ZIF 结构上验证过，才用于整个数据库；而智能体自建的化学审计没有一个拿已知案例验证过，唯一算对 +8 电荷的那个，最后用文件里不存在的基团把它平衡掉了。数据库审计要放在智能体开跑之前，审计工具本身也要先在已知答案上跑通。^[S1]

三个量要分开看

作者认为，以任务成功率为准的评估可能把三件事混为一谈：研究路线的多样性、结论的稳定性，以及科学基底的独立性。这次实验中前两项都很高，第三项几乎为零：路线多样，不等于证据独立。^[S1]

怎样读智能体的结论

越来越多“AI 科学家”类工作靠多次运行结果一致，或靠多个智能体互评来支撑结论。这篇论文提供了一个可资对照的反例：所有副本读的是同一份数据时，一致只说明结果在同样的设置下是稳定的，排除不了它们共有的系统误差，比如数据本身的错误。遇到这类说法要问确认从哪里来：另一份数据、另一种方法、另一个模型，还是同一个模型再跑一次？