EN

AI FOR SCIENCE · 方法

本站如何给证据评级

时间线上每一条含有主张的记录都带两个标记：证据走到了哪一步，以及由谁检验。本页就是这两个标记所依据的规则。把它公开，是为了让评级可以被争论。

v1.3 · 2026-10-21

目前这份记录说了什么

0%被独立复现2 / 403
34%走到物理检验及以上136 / 403
15%由作者之外的人检验过59 / 403

已评级的主张分布在哪里

1 · 存在23 · 6%
2 · 算出来了171 · 42%
3 · 对照已有证据检验73 · 18%
4 · 在物理世界里被检验123 · 31%
5 · 投入实际使用13 · 3%

616 条记录 · 403 条主张已评级 · 213 条只记录、不评级 · 7 带有争议、更正或撤回标记

构建时从记录本身统计，所以本页不会与它背后的数据脱节。

五个层级

深度不是分数。 它记录的是观察发生在证据链的哪一环，而不是结果有多好。一次在部署中被观察到的失败，是很深的证据：关于失败的证据。一个只存在于软件里的出色结果就是 depth 2，这不是贬低。

  1. 1
    存在

    要成立需要什么：一个结果、系统、数据集或基准已经发布，但还没有报告在它上面得到的任何结果。仅凭它的存在，还不能确立任何关于世界的主张。

    例如：一个公开的智能体平台；一个尚未报告分数的新数据集或基准。

  2. 2
    算出来了

    要成立需要什么：结果存在于软件之中：一个基准分数、一个预测、一个证明、一个生成的候选，或一个模拟结果。给模型打分的基准也属于这一级，即使它的任务取自真实测量：在已有数据上给模型排名是计算，不是检验。附带模型分数发布的新基准或数据集同样属于这一级，在普通计算机上运行软件测出的速度或精度也是：运行代码是计算。

    例如：一个预测结构数据库；一个奥林匹克竞赛分数。

  3. 3
    对照已有证据检验

    要成立需要什么：结果被拿去对照已经存在的测量、记录或业务化运行的系统，按一套明确的评估流程来评估。被检验的是一个具体结果，比如一个预测、一个设计或一次预报，而不是在基准上给模型排名，那属于第 2 级。模型自己的预测拿去对照它没有训练过的真实测量或记录（留出的实验数据、临床标注、实际观测到的天气）打分，属于第 3 级，即使发布的是一个预测数据库；只有数据库本身则是第 2 级。只举一个复现已知结果的例子，不算一套明确的评估流程。

    例如：一次盲测结构评估；胜过一个业务化预报系统。

  4. 4
    在物理世界里被检验

    要成立需要什么：因为这个结果，才做了新的实验或物理执行：有东西被合成、被测量，或在普通计算之外的物理硬件上运行，比如量子处理器、机器人或实验仪器。

    例如：被设计的结合蛋白经过合成与检测；一个催化剂被做出来并测量。

  5. 5
    投入实际使用

    要成立需要什么：结果走出研究演示，进入持续的科学、工程、临床或商业使用，或进入受监管的临床试验。

    例如：代码合入上游；一次随机对照临床读出；一项已部署的预报改进。

由谁检验

主张发生变化时

一个主张在被评级之后，仍可能被争议、更正、撤回或被取代。这个标记会留在记录上，而且不改变它的深度：一个结果可以既很深，又是错的。

什么被评级，什么不被评级

这套标尺评的是主张。一轮融资、一次分拆、一次招聘或一份合作公告，之所以被记录是因为它们重要，而它们里面没有可以评级的主张。有些记录看起来可评却不评，原因写在数据里：比如一家机构拒绝仓促认定某个结果，这是关于流程的事实，不是关于该主张的证据。

版本

定义是有版本的。在改变后的规则下重算出来的数字，与此前发布的数字不可比，所以版本号在定义改变时才移动，单条记录被重新评级时不动。

不同意某个评级？

请说明是哪一条、你认为应该在哪一级，以及公开记录里的什么支持这个判断。更正会公开进行，并记录在变更日志里。 联系 →