利用变分问答对生成提升QA模型对挑战集的鲁棒性
计算与语言
2021-06-07 v2 人工智能
机器学习
摘要
用于阅读理解问答（QA）的模型在分布内测试集上已达到人类水平的准确率。然而，已证明它们缺乏对挑战集的鲁棒性，挑战集的分布不同于训练集。现有的数据增强方法通过简单地用从与挑战集相同分布中采样的合成样本来增强训练集来缓解此问题。然而，这些方法假设挑战集的分布是先验已知的，使其对未见挑战集的适用性较低。在本研究中，我们关注问答对生成（QAG）以缓解该问题。虽然大多数现有QAG方法旨在提高合成样本的质量，但我们推测促进多样性的QAG可缓解训练集的稀疏性并带来更好的鲁棒性。我们提出一种变分QAG模型，从段落生成多个多样化问答对。我们的实验表明，我们的方法能提高12个挑战集的准确率以及分布内准确率。我们的代码和数据可在 https://github.com/KazutoshiShinoda/VQAG 获取。
引用
@article{arxiv.2004.03238,
title = {Improving the Robustness of QA Models to Challenge Sets with Variational Question-Answer Pair Generation},
author = {Kazutoshi Shinoda and Saku Sugawara and Akiko Aizawa},
journal= {arXiv preprint arXiv:2004.03238},
year = {2021}
}
备注
ACL-IJCNLP 2021 SRW