看第一句：问答中的位次偏置
计算与语言
2021-03-09 v4
摘要
许多抽取式问答模型被训练来预测答案的起止位置。将答案预测为位置的选择主要因其简单有效。在本研究中，我们假设当答案位置分布在训练集中高度偏斜时（例如，答案仅位于每段第 k 句），以位置预测答案的 QA 模型会学到虚假的位置线索，并无法在不同位置给出答案。我们首先在 BiDAF 和 BERT 等流行的抽取式 QA 模型中展示这一位置偏置，并深入考察位置偏置如何经 BERT 各层传播。为在不引入位置偏置的情况下安全传递位置信息，我们使用多种去偏方法训练模型，包括熵正则化和偏置集成。其中，我们发现使用答案位置的先验分布作为偏置模型在减少位置偏置上非常有效，在偏置的 SQuAD 数据集上训练时，将 BERT 的表现从 37.48% 恢复到 81.64%。
引用
@article{arxiv.2004.14602,
title = {Look at the First Sentence: Position Bias in Question Answering},
author = {Miyoung Ko and Jinhyuk Lee and Hyunjae Kim and Gangwoo Kim and Jaewoo Kang},
journal= {arXiv preprint arXiv:2004.14602},
year = {2021}
}
备注
13 pages, EMNLP 2020