MarkushGrapher：Markush 结构的视觉与文本联合识别
计算机视觉与模式识别
2025-10-09 v1
摘要
化学文献的自动化分析有望加速材料科学和药物研发等领域的发现进程。特别是，专利文献中化学结构和 Markush 结构（化学结构模板）的搜索功能具有重要价值，例如用于现有技术检索。尽管在从文本和图像中自动提取化学结构方面已取得进展，但由于 Markush 结构复杂的多模态特性，其仍很大程度上未被探索。在本工作中，我们提出了 MarkushGrapher，一种用于识别文档中 Markush 结构的多模态方法。我们的方法通过 Vision-Text-Layout 编码器和光学化学结构识别视觉编码器，联合编码文本、图像和布局信息。这些表示被融合并用于自回归地生成 Markush 结构的序列图表示，以及定义其可变基团的表格。为克服真实训练数据的缺乏，我们提出了一种合成数据生成流水线，可生成多种逼真的 Markush 结构。此外，我们提出了 M2S，这是首个真实世界 Markush 结构的标注基准，以推动这一挑战性任务的研究。大量实验表明，我们的方法在大多数评估设置下优于最先进的化学专用和通用视觉语言模型。代码、模型和数据集将公开提供。
引用
@article{arxiv.2503.16096,
title = {MarkushGrapher: Joint Visual and Textual Recognition of Markush Structures},
author = {Lucas Morin and Valéry Weber and Ahmed Nassar and Gerhard Ingmar Meijer and Luc Van Gool and Yawei Li and Peter Staar},
journal= {arXiv preprint arXiv:2503.16096},
year = {2025}
}