AI 如何读懂整条化学反应路线？从“认出分子”到恢复反应关系

别让一个大模型同时干两种活

一种直接的方法，是把整张 reaction image 交给 VLM，同时要求它找出每个 molecule 的位置并判断角色。大型 VLM 擅长理解画面在说什么，未必擅长精确回归一长串像素坐标；框稍微偏一点，object identity 与 reaction relationship 都可能跟着乱。^[S1]

RxnCaption 的处理很工程化：先用专门的 MolYOLO 找出 molecules，在图上画框并编号；VLM 不再猜 coordinates，只围绕已编号 objects 描述关系。任务从“找到产品的精确坐标并判断它是什么”变成“编号 1 和 2 是 reactants，编号 3 是 product，箭头旁文字是 condition”。^[S1][S2]

作者把这叫 BIVP，Bounding-box Index as Visual Prompt。变化看似只是“先画框”，背后却是一种成熟的 scientific AI system design：specialist model 做精确 perception，foundation model 做更擅长的 semantic reasoning。^[S1]

真实 reaction diagram，需要更接近 production 的数据

用于 molecule detection 的 MolDet-33k 人工标注了 219,721 个 molecular bounding boxes，清理后的数据包括 12,209 张 page-level images 与 21,155 张 figure / table-level images。在此基础上，更新后的 RxnCaption 数据覆盖 15,128 张 reaction parsing training images。^[S1][S2]

数据量不是唯一变化。简单的从左到右单步反应，和一张带有多行、分支、回环和树状依赖的全合成路线，不是同一个难度等级。数据集因此专门覆盖了不同布局。模型走向实际使用以后，样本分布往往比总数量更重要。^[S1]

论文里已经写了 1a 和 2b，AI 为什么还要重新编号

BIVP 解决 coordinates 问题，却人为修改了原图。RxnID 提出更自然的 IdtVP：直接把原图中的 compound identifier 当作 visual-semantic handle。化学论文正文会写“compound 1a was converted to 2b”，模型也可以直接说“1a → 2b”，而不用记“蓝色框里的第 3 个 molecule”。^[S3]

1a 与 2b 本来只是化学家的排版习惯，对 multimodal model 来说，却成了天然 grounding token。论文的 zero-shot experiment 中，Gemini 3 Pro + IdtVP 在 RxnScribe-test 上报告 71.70% Hybrid Match F1 和 88.11% Soft Match F1；在历史扫描文献 ScannedRxn 上，zero-shot Soft Match F1 为 86.5%。^[S3]

这些不是“86.5% 的反应图完全正确”。Soft Match 与 Hybrid Match 是 task-specific relationship metrics，会宽容部分空间或匹配差异；它们不等于数据库 record 无需修改。^[S3]

现实里，很多分子根本没有编号

Identifier 很好用，却不是免费的 ground truth。intermediate 可能没有编号，同一个 7 会在不同 figure 重新出现，identifier 可能离 structure 很远；有些 compound 只在正文被称作 compound 7，图里没有文字。^[S3]

RxnID 因此加入 Mid-Mapper：已有 identifier 的 molecule 尽量直接对应，没有编号的再补 virtual identifier，让 downstream model 仍然能够引用。到这里，问题已经从“读一张图”向“理解整篇 document”移动，cross-page reference resolution 会成为新的 bottleneck。^[S3]

为什么还要用可验证奖励

Reaction parsing 最后常输出 JSON，但 reaction 不是有唯一顺序的字符串。两个并列 reactants 谁先写不会改变 chemistry，彼此独立的 reactions 在 JSON 里交换顺序也不代表错误。普通 next-token loss 却会因为 serialization order 不同而惩罚语义正确的答案。^[S3]

RxnID 的 Re³-DAPO 在整组反应关系上计算奖励，而不是逐个 token 要求字符串完全相同。这样，两个并列反应物交换顺序时，不会因为写法不同就被判错。训练时判断的对象开始接近真正的反应关系，而不是固定格式的 JSON。^[S3]

可验证奖励也有边界。如果箭头被裁掉、condition 看不清，或 identifier 跨页失联，模型仍可能生成格式漂亮的 JSON。reward 能检查输出是否符合标注规则，却不能替化学家证明反应真的发生、yield 可靠或条件可复现。