化学文档与反应中的多模态搜索

我们提出了一种多模态搜索工具，旨在促进从科学文献中检索化学反应、分子结构和相关文本。查询可以结合分子图、文本描述和反应数据，允许用户连接化学信息的不同表示形式。为了支持这一点，索引过程包括化学图提取与解析、从表格形式的文本中提取反应数据，以及将图与其在文本中的提及进行跨模态链接。我们描述了系统的架构、关键功能和检索过程，并附有专家对系统的评估。本演示重点展示了搜索系统的工作流程和技术组件。