面向机器阅读理解的持续域适应
信息检索
2020-08-26 v1
摘要
机器阅读理解（MRC）已成为问答与对话系统等多种自然语言处理（NLP）应用的核心组件。MRC模型需要在非平稳环境中学习，其中底层数据分布随时间变化，这成为了一个实际挑战。一个典型场景是域漂移，即不同域的数据相继到来，要求MRC模型在适应新域的同时保持先前习得的能力。为应对该挑战，本文引入面向MRC的持续域适应（Continual Domain Adaptation, CDA）任务。据我们所知，这是关于MRC持续学习视角的首项研究。我们通过将现有MRC语料库按上下文类型与问题类型分别重组为不同域，构建了两个CDA任务的基准数据集。我们进而分析并观察到CDA设定下MRC的灾难性遗忘（CF）现象。为处理CDA任务，我们提出了若干基于BERT的持续学习MRC模型，采用基于正则化的方法或动态架构范式。我们分析了不同持续学习MRC模型在CDA任务下的性能，表明所提出的基于动态架构的模型取得了最佳性能。
引用
@article{arxiv.2008.10874,
title = {Continual Domain Adaptation for Machine Reading Comprehension},
author = {Lixin Su and Jiafeng Guo and Ruqing Zhang and Yixing Fan and Yanyan Lan and Xueqi Cheng},
journal= {arXiv preprint arXiv:2008.10874},
year = {2020}
}
备注
Accepted by CIKM 2020