融合领域知识的生物医学问答上下文嵌入与模型加权
计算与语言
2022-06-29 v1 人工智能
摘要
生物医学问答旨在从生物医学领域获取给定问题的答案。由于其高度依赖生物医学领域知识，模型难以从有限的训练数据中学习领域知识。我们提出一种结合在开放域问答模型 \aoa 与在生物医学领域数据上预训练的 \biobert 模型的上下文嵌入方法。我们采用在大型生物医学语料上的无监督预训练与在生物医学问答数据集上的有监督微调。此外，我们采用基于 MLP 的模型加权层来自动利用两个模型的优势以提供正确答案。由 PubMed 语料构建的公开数据集 \biomrc 被用于评估我们的方法。实验结果表明，我们的模型大幅优于最先进系统。
引用
@article{arxiv.2206.12866,
title = {Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering},
author = {Yuxuan Lu and Jingya Yan and Zhixuan Qi and Zhongzheng Ge and Yongping Du},
journal= {arXiv preprint arXiv:2206.12866},
year = {2022}
}