问题生成能否去偏问答模型？以问题-上下文词汇重叠为例的研究
计算与语言
2021-09-24 v1 人工智能
摘要
用于阅读理解的问答（QA）模型已被证明会利用非预期的数据集偏差，例如问题-上下文词汇重叠。这阻碍了QA模型泛化到代表性不足的样本，例如低词汇重叠的问题。问题生成（QG）作为一种增强QA数据集的方法，若QG能恰当地去偏QA数据集，则可作为此类性能退化的解决方案。然而，我们发现近期的神经QG模型偏向于生成高词汇重叠的问题，这会放大数据集偏差。此外，我们的分析揭示，使用这些QG模型进行数据增强常会损害在低词汇重叠问题上的性能，同时提升在高词汇重叠问题上的性能。为解决此问题，我们采用基于同义替换的方法增强低词汇重叠的问题。我们证明了所提出的数据增强方法简单而有效，仅用70k个合成样本即可缓解退化问题。我们的数据公开于 https://github.com/KazutoshiShinoda/Synonym-Replacement。
引用
@article{arxiv.2109.11256,
title = {Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap},
author = {Kazutoshi Shinoda and Saku Sugawara and Akiko Aizawa},
journal= {arXiv preprint arXiv:2109.11256},
year = {2021}
}
备注
MRQA workshop at EMNLP 2021