分子标识符视觉提示与可验证强化学习用于化学反应图谱解析
计算机视觉与模式识别
2026-03-18 v2
摘要
反应图谱解析（RxnDP）是从文献中提取化学合成信息的关键任务。尽管近期出现的视觉语言模型（Vision-Language Models, VLM）作为自动化解决这一复杂视觉推理任务的有前景的范式，但其应用在视觉化学实体与预训练知识无法对齐，以及标记级训练与反应级评估之间固有的差异方面存在根本性瓶颈。为解决这两个挑战，本文从提示表示和学习范式两个互补角度增强了基于VLM的RxnDP。首先，我们提出了标识符作为视觉提示（Identifier as Visual Prompting, IdtVP），该方法利用自然出现的分子标识符（如粗体数字1a）来激活VLM预训练期间获取的化学知识。IdtVP实现了强大的零样本和跨分布能力，超越了现有提示策略。其次，为进一步优化微调范式下的性能，我们引入了Re3-DAPO，这是一种利用可验证奖励直接优化反应级指标的强化学习算法，从而在标准监督微调之上实现持续性提升。此外，我们发布了ScannedRxn基准数据集，包含带有真实世界伪影的扫描历史反应图谱，以严格评估模型的鲁棒性和跨分布能力。我们的贡献推进了基于VLM的反应图谱解析的准确性和泛化能力。我们将在GitHub上发布数据、模型和代码。
关键词
引用
@article{arxiv.2603.15011,
title = {Molecular Identifier Visual Prompt and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing},
author = {Jiahe Song and Chuang Wang and Yinfan Wang and Hao Zheng and Rui Nie and Bowen Jiang and Xingjian Wei and Junyuan Gao and Yubin Wang and Bin Wang and Lijun Wu and Jiang Wu and Qian Yu and Conghui He},
journal= {arXiv preprint arXiv:2603.15011},
year = {2026}
}