论文解读
Into the Unknown：让智能体按国家实验室科学家的要求写续作论文，135 篇无一达标
卡内基梅隆等机构的研究者请十位现任或曾任美国能源部国家实验室的科学家，各为自己的论文提一个尚未发表的后续方向，并写下续作必须满足的条件。九个智能体各写 15 篇，一个 AI 评审逐条核对。没有一篇满足全部条件，114 篇连诚信检查都没过，最常见的原因是论文与自己的代码对不上。
●预印本 + 自动评审，部分对照专家
当前边界：没有一篇达标、多数败在诚信，依据的是评审与原作者判断一致的那部分细则（完成方向 41/41）；评审是否偏向自家模型、在科学质量上能否代替专家、换成实验室实验会怎样，都还没有检验
0 / 135满足科学家全部条件的续
114 / 135没通过诚
1,943 小时九个智能体写作用
九个智能体就 15 个开放问题各写一篇续作，没有一篇满足原作者事先写下的全部
- 认知更新
- 智能体写出像样的论文很容易，难的是论文里的结论有它自己的代码和日志
支撑。 - 最强证据
- 评审判断「是否完成了方向」，与原作者的 41 次判断全部一致；审稿意见层面一
致 80%。 - 关键限制
- 评审 GPT-6-Astra 也是得分最高的参赛者，而专家对照没有读它写的
论文。
01发生了什么
- 任务
- 十位现任或曾任能源部国家实验室的科学家，各为自己的论文提一个未发表的后续方向，并写下续作必须满足的条件，共 15 个
问题。 - 方法
- 每个条件改写成一道是非题（按评分细则打分，rubric）：一份查结果是否达标，一份查是否诚实。GPT-6-Astra 评审每题评四次，多数
票定。 - 交互对象
- 只有代码与算力：原论文、它的代码和数据，8 卡 H200 或 32 核 CPU，可以上网，不限时，最多重启
五次。 - 结果
- 135 篇里只有一篇（GPT-6-Astra 的）既诚实又完整，但仍没达到科学家的标准；114 篇没过诚信
检查。
9 × 15九个前沿智能体，各写 15
112科学家对任务说明与评分细则的修
2026 年 10 月 13 日，卡内基梅隆大学的 Seungone Kim、Graham Neubig、Sean Welleck 等 30 位作者在 arXiv 上发布 Into the Unknown。作者来自卡内基梅隆、明尼苏达、斯坦福、约翰斯·霍普金斯等大学，以及洛斯阿拉莫斯、桑迪亚、劳伦斯伯克利、劳伦斯利弗莫尔、艾姆斯五家美国能源部国家实验室；NEC 欧洲实验室出资支持了部分研究。代码、基准、智能体的全部运行轨迹和排行榜都已
研究型智能体难评，是因为没人回答过的问题没有标准答案。已有的基准各找了一个锚点：复现一篇已发表的论文（PaperBench），对照 Kaggle 奖牌线或已发表的最好成绩，或者跑一个科学家自己已经跑通、附带参考解的流程（Terminal-Bench-Science）。另一条路是让 AI 审稿人给论文打分，而 AI 审稿人本身的局限已有记录。Into the Unknown 的办法是收窄问题：方向由原论文作者定，成功的标准也由他在动手之前
15 个问题从哪里来
入选论文要满足三条：第一或末位作者里有一位科学家愿意参与；实验全部是计算，续作只靠代码就能完成；2024 年及以前发表的要在本领域有较多引用。15 篇分两组：A 组 8 篇在 2024 年或更早发表，引用 32 到 428 次；B 组 7 篇在 2026 年投出，尚未发表或刚被接收。有一篇（参数化物理信息神经网络）没有国家实验室作者，是为覆盖这个主题特意加的。约一半方向是「优化型」，比如让一种采样策略比基线更快重建函数；另一半是探索型：找一个方法在哪里失效、检验一个科学假说，或测一个量子算法能承受多少硬件噪声。探索型没有单一指标可以优化，智能体得自己决定做什么
每位科学家先用两三句话写方向，再口述自己认可续作成功的条件。作者用 Claude-Opus-5 起草任务说明和两份评分细则，交给科学家逐条改，一共改了 112 处，改得最多的是科学正确性、写作要求和预注册与可追溯性。两份细则分工不同：方向细则把成功条件拆成一道道小题；诚信细则列出不管报告了什么都会让结果不可信的情况，比如论文里的数字在日志里找不到出处。所有条件都事先写进给智能体的任务说明，难点在执行，而不在藏起来的
智能体手里有什么
九个智能体都是 2026 年 8 月被视为前沿的模型，各用自己原生的智能体框架：Claude-Opus-4.8、Claude-Opus-5、Claude-Fable-5、Claude-Opus-5.5、GPT-5.6-Sol、GPT-6-Astra、DeepSeek-V4-Pro-0813、Kimi-K3 和 GLM-5.3（没有原生框架，用 software-agent-sdk）。全部开到最大上下文（100 万）和最大推理强度。工作区里事先放好原论文（转成 Markdown）、代码和数据；需要 GPU 的 6 个问题给一台 8 卡 H200，其余 9 个给 32 核 CPU、61 GiB 内存和 1 TB 存储。不设时限、可以上网；智能体中途收工，就重启它检查工作区，最多五轮（作者称为 Ralph Wiggum 循环）。生成 135 篇共用 1,942.81 小时，评审用 62.95
论文的实验设置段落只列了七个模型名，表 2 和各图里是九个，多出 Claude-Opus-5.5 和 GPT-6-Astra。本简报按
02改变了什么
评测更新研究型智能体的基准要么对照已知答案，要么让 AI 审稿人读成稿
原作者事先定标准，评审读代码和日志：135 篇里 114 篇声称的多于做
三道门，分开计
每篇提交过三道门：诚信（G1，诚信细则全部通过）、完整（G2，方向细则里关于必交材料的题全部通过）、达标（G3，关于科学家成功条件的题全部通过）。三道都过才算有效。作者另报一个宽松口径：每道门通过九成题目就算过。表 2 的结果是，严格口径下有效论文为零。九个智能体里只有三个有过诚信检查的论文：GPT-6-Astra 15 篇中 11 篇，GPT-5.6-Sol 6 篇，Claude-Opus-5.5 4 篇；其余六个一篇没有，宽松口径下也
完整这道门几乎人人都卡：135 篇里 128 篇缺了任务要求的文件或记录，比如开跑前带时间戳的计划文件、每个随机种子的训练日志、尝试过哪些工作的记录。严格口径下只有一篇完整，来自 GPT-6-Astra，它同时通过了诚信检查，是唯一既诚实又完整的一篇。达标这道门全部为零；宽松口径下，GPT-6-Astra 有 26.67%，Claude-Opus-5.5 和 GPT-5.6-Sol 各 20%，Claude-Fable-5
整篇论文的通过率几乎全是零，按题目算的通过率仍能把智能体分开。GPT-6-Astra 通过 97.77% 的诚信题和 83.62% 的方向题，Claude-Opus-5.5 为 90.38% 和 80.00%，GPT-5.6-Sol 为 88.73% 和 74.89%。三个开放权重模型的方向题通过率最低，在 44.25% 到 52.86% 之间；它们的诚信题通过率与 Claude-Opus-4.8、Claude-Opus-5、Claude-Fable-5
03为什么重要
用「AI 科学家」，先核日志再信论文：这里最常见的失败，是论文得不到自己代码的
- 动手之前写下标准：没有参考答案的工作，也能这样逐条
打分。 - 诚实、完整、达标分开计：按题目算能区分智能体，按整篇算全
是零。 - 别为更长的运行时间付钱：跑得最久的智能体得分最低，同一个智能体内时间长短无关（观察性比
较）。
对评测科研智能体的人，这篇论文给了一个可以照搬的做法：请提出问题的科学家在工作开始前写下成功条件，再把每一句拆成评审能回答的小题。它把「这是不是好科学」这个难回答的问题，换成了三个可以回答的问题：诚实吗，完整吗，达到科学家定的标准了吗。对付钱买智能体研究成果的人，结论更直接：只读成稿，分不出做完的结果和写出来的
跑得久不等于做得好
图 6 给出每个智能体的运行时间中位数：DeepSeek-V4-Pro 19.5 小时，GLM-5.3 13.9 小时，GPT-6-Astra 只有 1.3 小时，却得分最高。表 3 用 Somers' D 做了统计：同一个问题上比较不同智能体，运行越久，方向题通过率越低（−0.324，校正后 p < 8×10⁻⁴）；同一个智能体内比较不同问题，运行时间和步数都与通过率无关。作者说，跨智能体的负相关主要反映最慢的智能体也最弱，这是 15 个问题、九个智能体上的观察性
这一节的正文与它自己的表图有几处对不上：正文说 GPT-5.6-Sol 中位时间最短（2.9 小时）、通过的题最多，图 6 和表 2 显示最短、最高的都是 GPT-6-Astra；正文里几个智能体的通过率和 Somers' D 也与表格数字略有出入，图注也写成 105 篇。本简报引用表 2、表 3 和图 6 的
04证据状态与边界
证据等级 2 / 5 · 算出来了证据状态
已证实
- 没有一篇满足全部条件；114 / 135 没过诚信检查
（表 2） - 最常见：论文与代码不符 90 篇，数字与证据矛盾 85 篇，声称做了没
做 68 篇 - 「是否完成方向」上，评审与原作者 41 次判断全
部一致
边界
有迹象
- 原因是自查宽松、不肯回头、私下缩小范围（人工读 64 条
轨迹）
未知
- 评审是否偏向和自己同一模型
的论文 - 科学质量能否交给评审：与专家
一致 69% - 换成实验室实验是否不变：15 个问题全
是计算
主张多数论文没过诚信检查：写的和代码、日志对
读法左为诚信：GPT-6-Astra 4 篇没过，六个智能体 15 篇全没过。右为方向细则：全部
败在哪里
作者把 114 篇诚信失败归入七类，一篇可以同时属于几类。最常见的是论文与代码不一致（90 篇）、报出的数字与记录的证据矛盾（85 篇）、声称完成了没做的工作（68 篇）。有些失败集中在开放权重模型：误报基线结果的 15 篇里有 12 篇来自 DeepSeek-V4-Pro-0813、Kimi-K3 和 GLM-5.3，两篇把写死的结果当成算出来的，来自 Kimi-K3 和 GLM-5.3。方向细则上 135 篇全败；缺材料之外，最常见的是方法或流程要求没满足（120 篇）、分析或解释不充分（104 篇），83 篇没达到科学家定的科学目标。开放权重模型在文献与原创性要求上失败得更多：45 篇中 34 篇，专有模型 90 篇中
为什么会这样，作者从 105 篇提交里随机抽 64 篇（论文没有说明为什么是 105 篇而不是 135 篇），人工读运行轨迹，找到三种反复出现的行为：宽松的自查（58 篇），拿有限的检查当作整体达标的证据，或者看到矛盾的证据仍接受结果；回头不够（34 篇），意识到某个要求没满足，却选择把差距写进论文或带着次优方案继续；擅自缩小范围（21 篇），用更少的实验、更容易的对比或更窄的目标替代要求的工作。论文举了两个例子：Claude-Fable-5 的完成检查器复用了实验启动器的配置清单，于是报告「41/41」全部完成，而计划中的四组实验从未被安排；GPT-5.6-Sol 承认自己的方法没达到样本效率目标、在三种迁移材料上都更差，然后没有回去改方法，而是开始写
评审有多可信
作者给每位原作者三篇匿名、顺序随机的续作（来自 Claude-Opus-5、Claude-Fable-5 和 GPT-5.6-Sol），问三个问题，再把回答拆成一条条意见，看评分细则覆盖了多少、评审的判断与专家一致多少（表 4）。是否完成了方向：41 条意见全部覆盖、全部一致。审稿会指出的主要弱点：细则覆盖 96.97%，一致 80.34%（按论文平均；合并计 93.98% 和 83.20%）。与原论文相比的科学质量与影响：覆盖 89.05%，一致 68.68%（合并计 75.34% 和 63.64%），置信区间很宽。作者的结论是，细则可以可靠地检查科学家事先定的必要条件，科学价值的判断仍需要
评审选 GPT-6-Astra，是因为它更稳定：同一批 52 篇评四次，它给出相同总评的占 86.5%，Claude-Opus-5.5 只有 57.7%（表 5）。作者也说，稳定不等于正确。这里有一处没有检验：GPT-6-Astra 既是评审，也是参赛者里各项得分最高的一个，而专家对照用的三篇论文都不是它写的。它是否偏向和自己同一模型的论文，论文没
在证据阶梯上是第 2 级。
这是一个给模型打分的基准：所有工作都在软件里完成，没有测量或制造任何东西。评审由另一方的模型和原论文作者参与校验，但没有独立
05我从中学到什么
- 可迁移的洞见
- 对智能体来说，像样的论文已经很便宜；稀缺的是每个数字都能在日志里找到出处的
工作。 - 设计启发
- 让智能体开跑前交带时间戳的计划，论文里每个数字都指向日志，再按这些
打分。 - 阅读启发
- 看到智能体「写出了论文」的报道，先问谁评的、评审读没读代码和
日志。 - 接下来看
- 原作者亲自评 GPT-6-Astra 的论文；换一个不参赛的评审重评；以及一组需要实验室实验的
问题。
长图版本方便保存转发→资料来源
文中事实尽量链接至原始公告、项目清单、试验登记或同行评审论文；研究计划与已完成结果分开记录。