面向鲁棒自然语言推理的模型无关去偏策略实证研究
计算与语言
2020-10-20 v2 人工智能
摘要
先前关于自然语言推理（NLI）去偏的工作主要针对一种或少数已知偏差，未必使模型更鲁棒。本文中，我们关注模型无关去偏策略，并探究如何（或是否可能）使NLI模型对多种不同对抗攻击鲁棒，同时保持甚至增强模型的泛化能力。我们首先在各种对抗数据集上基准测试主流神经NLI模型（包括预训练模型）。随后，我们尝试通过改进混合专家（MoE）集成方法来对抗不同已知偏差，并表明同时缓解多种NLI偏差并非易事，且模型级集成方法优于MoE集成方法。我们还执行包括文本交换、词语替换和释义的数据增强，并证明其能同时抵御各种（虽非全部）对抗攻击的有效性。最后，我们研究合并异构训练数据（1.35M）与执行模型集成的若干方法，这些方法直接但有效地增强了NLI模型。
引用
@article{arxiv.2010.03777,
title = {An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference},
author = {Tianyu Liu and Xin Zheng and Xiaoan Ding and Baobao Chang and Zhifang Sui},
journal= {arXiv preprint arXiv:2010.03777},
year = {2020}
}
备注
CoNLL 2020