DomainInv:用于问答领域自适应的域不变微调与对抗标签校正方法
计算与语言
2023-05-10 v1
摘要
现有的问答(QA)系统受限于回答来自未知领域或任何分布外问题的的能力,使其在部署到真实场景时可靠性较低。最重要的是,所有现有的 QA 领域自适应方法要么基于生成合成数据,要么基于对目标领域数据进行伪标注。基于合成数据和伪标注的领域自适应方法要么受限于计算资源需求,要么需要额外精心选择置信度阈值以将噪声样本排除在训练数据集之外。本文中,我们提出针对无标签目标领域的无监督领域自适应,通过将目标表示迁移至靠近源领域的同时仍利用源领域的监督信号。为此,我们提出域不变微调与对抗标签校正的思想,以识别远离源领域的目标实例,从而可学习特征编码器按类别最小化此类目标实例与源实例间的距离,消除学习那些仍靠近源支持但模糊不清的目标领域特征的可能性。我们将所提 QA 领域自适应方法 DomainInv 在多个目标 QA 数据集上的评估揭示了相对于最强基线的性能提升。
引用
@article{arxiv.2305.05589,
title = {DomainInv: Domain Invariant Fine Tuning and Adversarial Label Correction For QA Domain Adaptation},
author = {Anant Khandelwal},
journal= {arXiv preprint arXiv:2305.05589},
year = {2023}
}
备注
13 pages, 2 Tables, 2 Figures