GTR-CoT：基于图遍历的视觉链式思考用于分子结构识别
人工智能
2026-01-14 v3 定量方法
摘要
光学化学结构识别（OCSR）是将分子图像转换为机器可读格式的关键技术。虽然最近的视觉语言模型（VLM）在该领域展现了前景，但其图像描述方法常在处理复杂分子结构和不一致注释时方能显著。为此，我们提出了 GTR-VL 模型，其中包含两个关键创新：（1）将图遍历建模为视觉链式思考（Graph Traversal as Visual Chain of Thought）机制，通过逐步预测原子-键关系来模拟人类推理过程；（2）采用数据中心方法，提出“忠实识别你看到的内容”（Faithfully Recognize What You've Seen）原则，将图像中的简略结构与其扩展注释对齐。对于缺乏图注释仅提供最终 SMILES 格式的手绘 OCSR 任务，我们采用 GRPO 方法进行强化学习，引入格式奖励、图奖励和 SMILES 奖励等机制。该方法通过弱监督显著提升了手绘识别任务的性能。我们构建了 GTR-1.3M 大规模指令调优数据集，并开发了 MolRec-Bench——用于评估 OCSR 中图谱解析精度的首个基准测试。我们的两阶段训练方案包括针对印刷图像的 SFT 训练，以及使用 GRPO 方法将能力迁移至手绘任务。实验表明，GTR-VL 在印刷和手绘数据集上均优于专家模型、化学领域 VLM 以及商业 VLM。
引用
@article{arxiv.2506.07553,
title = {GTR-CoT: Graph Traversal as Visual Chain of Thought for Molecular Structure Recognition},
author = {Jingchao Wang and Yifan He and Haote Yang and Jiang Wu and Lingli Ge and Xingjian Wei and Yinfan Wang and Linye Li and Huijie Ao and Chengjin Liu and Bin Wang and Lijun Wu and Conghui He},
journal= {arXiv preprint arXiv:2506.07553},
year = {2026}
}