在问答任务中使用弱监督与数据增强
计算与语言
2023-09-29 v1 机器学习
摘要
新冠疫情的发生强化了获取生物医学文献以回答时效性和疾病相关问题的需求。在疫情初期，最大挑战之一是缺乏关于新冠的同行评审医学文章，可用于训练问答（QA）模型。本文探讨了弱监督和数据增强在训练深度神经网络 QA 模型中的作用。首先，我们研究使用基于结构摘要的学术论文自动生成的标签，是否为训练提取式 QA 模型提供弱监督信号。我们还利用信息检索技术构建新的 QA 对，借助 clinicaltrials.gov 模式和文章结构摘要，在缺乏医学领域专家标注数据的情况下完成。此外，我们探索了通过来自外部来源（如词典数据库）的语言特征来增强深度神经网络模型的训练数据，以考虑词形和意义的变化。为更好地利用训练数据，我们应用课程学习进行域适应，根据 QA 对的特征特性分阶段精调 QA 模型。我们在疫情相关问答模型的上下文中评估了这些方法。
引用
@article{arxiv.2309.16175,
title = {Using Weak Supervision and Data Augmentation in Question Answering},
author = {Chumki Basu and Himanshu Garg and Allen McIntosh and Sezai Sablak and John R. Wullert},
journal= {arXiv preprint arXiv:2309.16175},
year = {2023}
}