面向分布外问答的词嵌入扰动学习
计算与语言
2021-06-25 v3
摘要
基于预训练语言模型的问答（QA）模型已在多个基准数据集上取得显著性能。然而，由于分布偏移，QA 模型对落在训练分布之外的未见数据泛化不佳。丢弃/替换词的数据增强（DA）技术已被证明能有效正则化模型以免过拟合训练数据。但它们可能 adversely 影响 QA 任务，因为会造成语义改变从而导致 QA 任务的错误答案。为解决此问题，我们提出一种基于随机噪声生成器的简单而有效的 DA 方法，其学习扰动输入问题与上下文的词嵌入而不改变其语义。我们在单一源数据集上训练 QA 模型，并在五个不同目标域上验证其性能。结果表明，我们的方法显著优于基线 DA 方法。值得注意的是，用 ours 训练的模型优于用超过 24 万个人工生成的 QA 对训练的模型。
引用
@article{arxiv.2105.02692,
title = {Learning to Perturb Word Embeddings for Out-of-distribution QA},
author = {Seanie Lee and Minki Kang and Juho Lee and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2105.02692},
year = {2021}
}
备注
ACL 2021