论文与基准· 科学证据 · Frontier
AI 为什么容易认错分子结构图？真实化学论文比旧 benchmark 难得多
OCSR 在传统 benchmark 上早已取得高分，真实论文却同时考验视觉识别与化学表达：即使图像清楚，常用的分子表示也未必装得下它表达的化学语义。
◐真实论文 benchmark + 技术报告评测
当前边界：真实论文基准与技术报告评测；尚不能代表所有出版年代、专利与化学子领域
这项工作推进的是：从真实论文图像恢复分子结构
- MODEL理解 / 预测
- DECIDE选择下一步
- INTERACT执行与测量
- UPDATE改变下一轮
系列导读
MinerU.Chem 系列｜从化学 PDF 到机器可用的反应数据
01｜发生了什么
真实论文暴露了 OCSR 的两类失败
上一篇拆开了化学 PDF 进入 MinerU.Chem 之后的整条流水线。这一篇只盯住其中最难的一格：把一张二维分子结构图恢复成 machine-readable molecular graph，也就是 Optical Chemical Structure Recognition（OCSR）。[S3]
很多旧 benchmark 上，OCSR accuracy 早已超过 90%。如果只看 leaderboard，很容易觉得这个任务快做完了。问题是，真实论文并不像 benchmark 里干净的白底小分子：扫描噪声、模糊键线和拥挤排版只是第一类困难。[S1]
另一类问题完全不同。图片可能很清楚，模型仍会失败，因为里面画的是非标准键、复杂价态、自由基、配位结构、Markush、polymer repeating unit，或者简写成 Ph 的官能团。一张结构图可以在视觉上很难，也可以在化学语义上很难，两种困难还会叠在一起。[S1]
02｜What Changed
把“看清图像”与“表达化学”分开评测
第一次把两种“难”分开
MolRecBench-Wild 的 MOSAIC framework 把 OCSR difficulty 拆成两个维度。视觉侧包括低分辨率、扫描噪声、拥挤排版、文字与结构图重叠，以及模糊或断裂的 bond line；这里首先考验模型能否可靠地“看清”。[S1]
化学侧则在像素清楚时仍然存在：unusual valence、radical、coordination structure、abbreviation、Markush 与 polymer representation。问题从“看清楚没有”变成“用什么 representation 表达看见的 chemistry”。[S1]
数据集从 820 篇近期 chemistry papers 中整理 5,029 张真实 molecular structure images，标注 37 类 MOSAIC difficulty，其中 18 类属于视觉、19 类属于化学语义。93.29% 的样本至少带一种 difficulty，42% 同时包含两类困难。这个分布解释了旧 benchmark 高分为什么可能过度乐观。[S1]
直接“看图写 SMILES”，问题出在哪
许多视觉语言模型做 OCSR 的方式很像 image captioning：给一张分子图，直接生成一串 SMILES。SMILES 是高度序列化的表达，一处 atom、bond 或 stereochemistry 判断错误，就可能让后面整串字符一起变化；模型只给最终字符串时，也很难定位究竟在哪里看错。[S3]
GTR-VL 选择先恢复 graph。它沿 molecular graph 逐步生成 atom 与 chemical bond，再继续到下一个 atom，显式经过一个 intermediate molecular graph。这个中间图可以被检查：如果结果错了，可以定位到某个 atom、某根 bond，甚至重新对应原图坐标。对于要进入数据库的数据，这比“整个 SMILES 不匹配”有用得多。[S3]
图里写的是 Ph，答案却出现完整苯环——问题出在标注
一些训练数据生成 ground truth 时，会把图中的 Ph 自动展开成完整 phenyl ring。于是输入图片根本没有六元芳环，答案却要求模型输出六元芳环：模型正在学习一个视觉上不存在的目标。[S3]
GTR-VL 把原则概括为 Faithfully Recognize What You've Seen：source image 写 Ph，就先把它当 superatom 保留，standardization 留到需要的时候再展开。团队围绕这套思路整理了约 130 万规模的训练数据。这个标注细节背后是更普遍的数据原则：extraction 和 normalization 不该混在第一步里做。[S3]
连评测的尺子也可能把“对”判成“错”
模型恢复的 molecular graph 可能与 ground truth 相同，但因 traversal order、abbreviation expansion 或 canonicalization 不同，生成的 SMILES 字符串并不完全一样，按 Exact Match 仍会被判错。反过来，两条 canonicalized SMILES 相同，也不代表模型忠实保留了 abbreviation、二维坐标和非标准语义。[S1][S3]
MolRecBench-Wild 因此同时保留 CARBON、graph-level representation 与 SMILES。当模型开始接近旧 benchmark 上限时，需要改变的不一定只是模型，有时连“什么叫正确”都需要重新定义。[S1]
03｜关键数字
5,029 张真实结构图重画了 benchmark 边界
04｜为什么重要
入口处的结构错误会传遍化学数据链
这里要先把版本分开读：MolRecBench-Wild 原始论文用的是 5,029 张结构图；后来的 MinerU.Chem 技术报告采用修订版，完整 graph-annotated structures 是 5,024，其中只有 2,392 个能合法转换为 SMILES。两者是不同的数据版本，分母不能混着用。[S1][S3]
MolRecBench-Wild 的意义，不是故意把考试出难，而是把考试搬到模型真正要工作的地方。如果 production data 里全是 Markush、polymers、abbreviations、扫描专利和拥挤的 SI figures，而 test set 只有清晰白底小分子，那 90% 以上的 accuracy 也答不出可用性这个问题。
OCSR 又正好卡在 chemistry data pipeline 的入口。一根 stereobond 看错，后面的 reaction parsing、database construction、property linking 和 model training 都可能继承这个错误。最危险的往往不是 invalid SMILES，而是那些合法、看起来正常、却和原图分子对不上的结构。
WHAT CHANGED
- AI4S 层级
- Scientific data / Optical Chemical Structure Recognition
- 原有瓶颈
- 真实论文同时存在 visual complexity 与 chemical-semantic complexity
- 这次改变
- MolRecBench-Wild 用真实论文重建 benchmark；GTR-VL 不再直接从图片跳到 SMILES，而是先恢复 molecular graph
- 关键证据
- Faithfully Recognize What You've Seen
- 仍未解决
- 长尾化学语义、复杂视觉干扰，以及 representation / evaluation 本身的不一致
EVIDENCE IN CONTEXT
- 编辑状态
- 前沿
- 证据场景
- 回顾性或模拟
- 证据怎样产生
- 回顾性
- 来源与可检查性
- 论文与公开数据集
- 证据上限
- 它证明了真实论文图像比旧基准更复杂，但没有证明模型覆盖所有年代、专利和化学子领域。
05｜证据状态与边界
更真实的 benchmark 仍不等于 production validation
真实论文 benchmark 比旧 benchmark 更接近 production distribution，但仍不是整个化学文献世界。5,029 张图来自团队选择的 820 篇近期论文，无法代表所有 publisher、年代、扫描质量、专利与 chemistry subfields；MOSAIC labels 和复杂 ground truth 也依赖人工判断。[S1]
正确结论不是“我们终于知道真实 OCSR accuracy 是多少”，而是旧 benchmark 很可能让问题显得比实际容易，现在开始有了一把更接近真实使用场景的尺子。
06｜What I Learned
Representation 与 evaluation 也是模型问题的一部分
Benchmark 的目的，是模拟模型真正要工作的地方如果未来数据里有 Markush，而测试集永远没有 Markush，leaderboard 再漂亮也不够。
Scientific representation 不是中性的文件格式SMILES、graph 与 CARBON 保存的信息不一样，这直接决定了什么结果会被定义成“正确”。
数据标注的小错误可能比换更大模型更基础图片写 Ph，ground truth 却要求完整苯环，这种 supervision mismatch 不会自然被 scale 修好。
能找到“哪里错了”很重要一个可以被检查的 molecular graph，往往比黑盒式的最终字符串更适合放进数据生产流程。
资料来源
文中事实尽量链接至原始公告、项目清单、试验登记或同行评审论文；研究计划与已完成结果分开记录。