对抗式 NLI:一种自然语言理解的新基准
计算与语言
2020-05-07 v2 机器学习
摘要
我们引入了一个新的大规模 NLI 基准数据集,通过迭代的、对抗式的人与模型协同过程收集。我们表明,在该新数据集上训练模型可在多种流行 NLI 基准上取得最先进性能,同时以其新测试集提出了更困难的挑战。我们的分析揭示了当前最先进模型的不足,并表明非专家标注者能成功发现其弱点。该数据收集方法可应用于永无止境的学习场景,成为 NLU 的一个移动目标,而非会迅速饱和的静态基准。
引用
@article{arxiv.1910.14599,
title = {Adversarial NLI: A New Benchmark for Natural Language Understanding},
author = {Yixin Nie and Adina Williams and Emily Dinan and Mohit Bansal and Jason Weston and Douwe Kiela},
journal= {arXiv preprint arXiv:1910.14599},
year = {2020}
}
备注
ACL 2020