生物医学问答中的领域可迁移性与错误传播度量
计算与语言
2019-09-25 v2 人工智能
机器学习
摘要
在本工作中，我们展示了Google提交至BioASQ 7生物医学问答（QA）任务（具体为任务7b，B阶段）的系统。我们系统的核心基于BERT QA模型，具体为 \cite{alberti2019bert} 的模型。在本报告中，并通过我们的提交，我们旨在研究两个研究问题。我们首先研究在通用文本（如维基百科）上预训练并微调的QA系统的领域可迁移性如何。我们通过两次提交对此进行度量。第一个为未适配模型，使用公开预训练BERT模型并在Natural Questions数据集 \cite{kwiatkowski2019natural} 上微调。第二个系统将该未适配模型用BioASQ训练数据进一步微调。接下来，我们研究端到端检索与QA系统中的错误传播影响。同样通过两次提交测试：第一个使用人工标注的相关文档与片段作为模型输入，第二个使用预测的文档与片段。我们的主要发现是，领域特定微调可有益于生物医学QA。然而，最大的质量瓶颈在于检索阶段，当向QA模型使用非标准答案输入时，我们观察到指标大幅下降——绝对降幅超过10分。
引用
@article{arxiv.1909.09704,
title = {Measuring Domain Portability and ErrorPropagation in Biomedical QA},
author = {Stefan Hosein and Daniel Andor and Ryan McDonald},
journal= {arXiv preprint arXiv:1909.09704},
year = {2019}
}