利用合成对抗数据生成提升问答模型鲁棒性
计算与语言
2022-03-16 v3 机器学习
摘要
尽管近期取得进展，最先进的问答模型仍易受到多种对抗攻击。动态对抗数据收集（人类标注者试图撰写能欺骗模型中循环的样本）可提升模型鲁棒性，但该过程成本高昂，限制了所收集数据的规模。本工作中，我们首次使用合成对抗数据生成使问答模型对人工对手更鲁棒。我们开发了一条数据生成流水线，其选择源段落、识别候选答案、生成问题，最后过滤或重新标注以提升质量。利用该方法，我们将较小规模的人工撰写对抗数据集扩增为更大规模的合成问答对集合。通过引入我们的合成数据，我们在 AdversarialQA 数据集上将最先进水平提升了 3.7F1，并在十二个 MRQA 数据集中的九个上改进了模型泛化能力。我们进一步开展了一项新的人机协同评估，表明我们的模型对全新人工撰写对抗样本明显更鲁棒：众包工作者平均仅能 8.8% 的次数欺骗我们的模型，而未使用合成数据训练的模型为 17.6%。
引用
@article{arxiv.2104.08678,
title = {Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation},
author = {Max Bartolo and Tristan Thrush and Robin Jia and Sebastian Riedel and Pontus Stenetorp and Douwe Kiela},
journal= {arXiv preprint arXiv:2104.08678},
year = {2022}
}
备注
EMNLP 2021