MolSight：基于SMILES预训练、多尺度学习和强化学习的光学化学结构识别
计算机视觉与模式识别
2025-11-24 v1
摘要
光学化学结构识别（OCSR）在现代化学信息学中发挥着关键作用，使能够自动将来自科学文献、专利和教育材料的化学结构图像转换为机器可读的分子表示。这种能力对于大规模化学数据挖掘、药物发现管道以及相关领域的大型语言模型（LLM）应用至关重要。然而，现有OCSR系统在准确识别立体化学信息方面面临重大挑战，因为构象异构体的细微视觉线索（如楔线键、虚线键、环构象和空间布局）难以辨别。为解决这些挑战，我们提出了MolSight，这是一个综合性的OCSR学习框架，采用三阶段训练范例。第一阶段，我们在大规模但噪声较大的数据集上进行预训练，使模型具备基本的化学结构图像感知能力。在第二阶段，我们使用更丰富监督信号的数据集进行多尺度微调，系统性地探讨化学键分类和原子定位等辅助任务对分子公式识别的贡献。最后，我们采用强化学习进行后期优化，并引入新颖的立体化学结构数据集。值得注意的是，尽管MolSight的参数规模相对紧凑，Group Relative Policy Optimization（GRPO）算法仍能进一步提升模型在立体分子方面的性能。通过广泛的实验，我们的结果表明，MolSight在（立体）化学光学结构识别方面实现了最先进的性能。
引用
@article{arxiv.2511.17300,
title = {MolSight: Optical Chemical Structure Recognition with SMILES Pretraining, Multi-Granularity Learning and Reinforcement Learning},
author = {Wenrui Zhang and Xinggang Wang and Bin Feng and Wenyu Liu},
journal= {arXiv preprint arXiv:2511.17300},
year = {2025}
}