自然语言推理向生物医学问答的迁移性
计算与语言
2021-02-18 v4
摘要
生物医学问答（QA）因数据稀缺与领域专业知识需求而具挑战性。预训练语言模型已被用于应对这些问题。近来，学习句子对间关系被证明可提升通用QA性能。本文聚焦于应用BioBERT将自然语言推理（NLI）知识迁移至生物医学QA。我们观察到，在NLI数据集上训练的BioBERT在Yes/No（+5.59%）、Factoid（+0.53%）、List类型（+13.58%）问题上优于此前挑战赛（BioASQ 7B Phase B）所得表现。我们提出一种顺序迁移学习方法，在第八届BioASQ挑战赛（Phase B）中表现显著良好。在顺序迁移学习中，微调任务的次序十分重要。当将factoid与list类型问题格式转换为Stanford Question Answering Dataset（SQuAD）格式时，我们度量了抽取式QA设定下的不可答率。
引用
@article{arxiv.2007.00217,
title = {Transferability of Natural Language Inference to Biomedical Question Answering},
author = {Minbyul Jeong and Mujeen Sung and Gangwoo Kim and Donghyeon Kim and Wonjin Yoon and Jaehyo Yoo and Jaewoo Kang},
journal= {arXiv preprint arXiv:2007.00217},
year = {2021}
}
备注
submit for the 8th BioASQ workshop 2020