HypoNLI：探究自然语言推理中仅假设偏差的人为模式
计算与语言
2021-03-16 v2 人工智能
机器学习
摘要
许多近期研究表明，对于在自然语言推理（NLI）数据集上训练的模型，仅观察假设而完全忽略前提即可做出正确预测是可能的。在这项工作中，我们设法推导针对仅假设偏差的对抗样本，并探索缓解此类偏差的可行方法。具体而言，我们从训练集的假设中提取各种短语（人为模式），并表明它们一直是特定标签的强指示符。然后我们从原始测试集中找出标签与这些指示相反或一致的“难”样本和“易”样本。我们还建立了包括预训练模型（BERT、RoBERTa、XLNet）和具有竞争力的非预训练模型（InferSent、DAM、ESIM）在内的基线。除基准和基线外，我们还研究了两种利用人为模式建模来缓解此类仅假设偏差的去偏方法：下采样和对抗训练。我们相信这些方法可作为 NLI 去偏任务中具有竞争力的基线。
引用
@article{arxiv.2003.02756,
title = {HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference},
author = {Tianyu Liu and Xin Zheng and Baobao Chang and Zhifang Sui},
journal= {arXiv preprint arXiv:2003.02756},
year = {2021}
}
备注
LREC 2020