面向机器阅读的鲁棒域适应
机器学习
2022-09-26 v1 计算与语言
摘要
大多数用于机器阅读理解（MRC）的域适应方法使用预训练的问答（QA）构建模型来生成伪QA对以进行MRC迁移。由于i）目标文档中不可用QA对，以及ii）将QA构建模型应用于目标域时的域偏移，这一过程将不可避免地引入不匹配对（即噪声对应），这无疑会降低MRC的性能，然而现有工作忽视了这一点。为解决这一未被触及的问题，我们提出通过额外利用与文档相关的对话以及一种新的MRC域适应方法来构建QA对。具体而言，我们提出了鲁棒域适应机器阅读理解（RMRC）方法，其由答案抽取器（AE）、问题选择器（QS）和MRC模型组成。具体地，RMRC通过AE估计与文档的相关性来过滤掉不相关答案，并通过QS融合多轮对话聊天中的候选问题来抽取问题。利用抽取出的QA对，MRC被微调并通过一种新颖的强化自训练方法提供反馈以优化QS。得益于QS的优化，我们的方法将极大缓解由域偏移引起的噪声对应问题。据我们所知，这可能是首个揭示域适应MRC模型中噪声对应影响并展示实现对不匹配对鲁棒性的可行途径的研究。在三个数据集上的大量实验证明了我们方法的有效性。
引用
@article{arxiv.2209.11615,
title = {Robust Domain Adaptation for Machine Reading Comprehension},
author = {Liang Jiang and Zhenyu Huang and Jia Liu and Zujie Wen and Xi Peng},
journal= {arXiv preprint arXiv:2209.11615},
year = {2022}
}