连接研究与读者：一种多模态自动学术论文解读系统

在当代信息时代，大语言模型的出现显著加速了科学文献的激增，达到了前所未有的水平。研究人员迫切需要高效的工具来阅读和总结学术论文、发现有价值的科学文献，并采用多样化的解读方法。为满足这一日益增长的需求，自动科学文献解读系统的作用变得至关重要。然而，当前无论是商业还是开源模型，都面临显著挑战：它们常常忽视多模态数据，难以总结超长文本，且缺乏多样化的用户界面。为此，我们引入了一个开源的多模态自动学术论文解读系统（MMAPIS），该系统包含三个步骤阶段，并融合了LLMs以增强其功能。我们的系统首先采用混合模态预处理与对齐模块，分别从文档中提取纯文本、表格和图形。然后，它根据这些信息所属的章节名称进行对齐，确保具有相同章节名称的数据归类于同一章节。接着，我们引入了一种层次化篇章感知的摘要方法。它利用提取的章节名称将文章分割为较短的文本片段，通过带有特定提示的LLMs促进章节内和章节间的特定摘要生成。最后，我们设计了四种多样化的用户界面，包括论文推荐、多模态问答、音频播报和解读博客，可广泛应用于多种场景。我们的定性和定量评估强调了该系统的优越性，特别是在科学摘要方面，其性能优于仅依赖GPT-4的解决方案。