向右看：缓解抽取式问答中的相对位置偏差
计算与语言
2022-10-27 v1
摘要
当训练集存在意外偏差时，抽取式问答（QA）模型倾向于利用虚假相关性进行预测。这种倾向导致模型无法泛化到相关性不成立的样本。确定QA模型可能利用的虚假相关性对于在真实世界应用中构建可泛化的QA模型至关重要；此外，需要开发一种方法，即使在训练集有偏差时也能防止这些模型学习到虚假相关性。在本研究中，我们发现答案的相对位置，定义为答案跨度到最近的问答上下文重叠词的相对距离，可被QA模型作为进行预测的表面线索。具体而言，我们发现当训练集中的相对位置存在偏差时，模型在训练期间未见过的相对位置样本上的性能会显著下降。为了缓解未见相对位置导致的性能下降，我们提出了一种基于集成的去偏差方法，该方法不需要关于相对位置分布的先验知识。我们使用有偏差的和完整的SQuAD数据集证明了所提出的方法缓解了模型对相对位置的依赖。我们希望本研究能帮助增强QA模型在真实世界应用中的泛化能力。
引用
@article{arxiv.2210.14541,
title = {Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering},
author = {Kazutoshi Shinoda and Saku Sugawara and Akiko Aizawa},
journal= {arXiv preprint arXiv:2210.14541},
year = {2022}
}
备注
Accepted to BlackboxNLP 2022