Uni-SMART: 通用科学多模态分析与研究Transformer
计算与语言
2024-06-18 v2 计算机视觉与模式识别
摘要
在科学研究及其应用中，科学文献分析至关重要，因为它使研究人员能够在前人工作的基础上进行构建。然而，科学知识的快速增长导致学术文章大量增加，使得深入的文献分析变得越来越具有挑战性和耗时。大型语言模型(LLM)的出现为解决这一挑战提供了新途径。LLM以其强大的文本摘要能力而闻名，被视为改进科学文献分析的潜在工具。然而，现有的LLM有其自身的局限性。科学文献通常包含各种多模态元素，例如表格、图表和分子，这些元素对于以文本为中心的LLM来说难以理解和分析。这个问题表明迫切需要能够全面理解和分析科学文献中多模态内容的新解决方案。为了满足这一需求，我们提出了Uni-SMART（通用科学多模态分析与研究Transformer），这是一种专为深入理解多模态科学文献而设计的创新模型。通过在多个领域进行严格的定量评估，Uni-SMART表现出优于其他以文本为中心的LLM的性能。此外，我们的探索扩展到实际应用，包括专利侵权检测和图表的细致分析。这些应用不仅突显了Uni-SMART的适应性，也展示了其彻底改变我们与科学文献互动方式的潜力。
引用
@article{arxiv.2403.10301,
title = {Uni-SMART: Universal Science Multimodal Analysis and Research Transformer},
author = {Hengxing Cai and Xiaochen Cai and Shuwen Yang and Jiankun Wang and Lin Yao and Zhifeng Gao and Junhan Chang and Sihang Li and Mingjun Xu and Changxin Wang and Hongshuai Wang and Yongge Li and Mujie Lin and Yaqi Li and Yuqi Yin and Linfeng Zhang and Guolin Ke},
journal= {arXiv preprint arXiv:2403.10301},
year = {2024}
}