通过集成对抗训练避免自然语言推理中的仅假设偏差
机器学习
2021-05-28 v5 人工智能
计算与语言
机器学习
摘要
自然语言推理（NLI）数据集中包含标注伪迹，导致自然语言话语与其各自的蕴含类别之间产生虚假相关性。即使神经网络仅考虑假设而忽略前提，也会利用这些伪迹，从而引发非预期的偏差。Belinkov 等人（2019b）提出通过对抗训练来解决此问题，但这可能导致学习到的句子表示仍然受到相同偏差的影响。我们表明，通过使用一组对抗器的集成，可以在句子表示中减少该偏差，鼓励模型在拟合数据的同时联合降低这些不同对抗器的准确率。该方法产生了更鲁棒的 NLI 模型，在泛化到另外 12 个数据集时优于以往的去偏工作（Belinkov 等人，2019a；Mahabadi 等人，2020）。此外，我们发现对抗分类器的最优数量取决于句子表示的维度，较大的句子表示更难以去偏，但同时受益于使用更多数量的对抗器。
引用
@article{arxiv.2004.07790,
title = {Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training},
author = {Joe Stacey and Pasquale Minervini and Haim Dubossarsky and Sebastian Riedel and Tim Rocktäschel},
journal= {arXiv preprint arXiv:2004.07790},
year = {2021}
}
备注
Accepted at EMNLP 2020