基于多模态图 Transformer 的生物医学关系抽取框架
计算与语言
2021-07-02 v1
摘要
预训练 Transformer 模型的最新进展推动了各种生物医学任务中有效文本挖掘模型的发展。然而，这些模型主要在文本数据上学习，往往缺乏实体的领域知识以捕捉句子之外的上下文。在本研究中，我们引入了一种新颖的框架，借助分子结构等额外多模态线索，使模型能够学习实体（蛋白质）的多组学生物学信息。为此，我们没有开发特定于模态的架构，而是设计了一种基于图的通用且优化的多模态学习机制，该机制利用 GraphBERT 模型编码文本和分子结构信息，并挖掘各模态的潜在特征以实现端到端学习。我们在生物医学语料上的蛋白质-蛋白质相互作用任务上评估了所提出的方法，观察到这种通用方法受益于额外的领域特定模态。
引用
@article{arxiv.2107.00596,
title = {Multimodal Graph-based Transformer Framework for Biomedical Relation Extraction},
author = {Sriram Pingali and Shweta Yadav and Pratik Dutta and Sriparna Saha},
journal= {arXiv preprint arXiv:2107.00596},
year = {2021}
}
备注
To appear in Findings of ACL 2021