MarkushGrapher-2：化学结构的端到端多模态识别
计算机视觉与模式识别
2026-03-31 v1
摘要
自动从文档中提取化学结构对于化学文献的大规模分析至关重要。自动流水线已分别开发用于识别以图形或文本表示的分子。然而，从多模态描述（Markush结构）中识别化学结构的方法在精度上仍落后，且无法用于自动大规模处理。在本工作中，我们提出了MarkushGrapher-2，一种用于文档中化学结构多模态识别的端到端方法。首先，我们的方法采用专用的OCR模型从化学图像中提取文本。其次，文本、图像和布局信息通过视觉-文本-布局编码器和光学化学结构识别视觉编码器进行联合编码。最后，通过两阶段训练策略有效融合所得编码，并自回归生成Markush结构的表示。为解决训练数据不足的问题，我们引入了一个自动流水线，用于构建大规模真实世界Markush结构数据集。此外，我们提出了IP5-M，一个大规模人工标注的真实世界Markush结构基准，旨在推进这一具有挑战性任务的研究。大量实验表明，我们的方法在多模态Markush结构识别方面大幅超越最先进模型，同时在分子结构识别方面保持了强劲性能。代码、模型和数据集已公开发布。
引用
@article{arxiv.2603.28550,
title = {MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures},
author = {Tim Strohmeyer and Lucas Morin and Gerhard Ingmar Meijer and Valéry Weber and Ahmed Nassar and Peter Staar},
journal= {arXiv preprint arXiv:2603.28550},
year = {2026}
}
备注
15 pages, to be published in CVPR 2026