超越排行榜:揭示自然语言推理数据与模型弱点的方法综述
计算与语言
2020-06-01 v1
摘要
近年来,越来越多的出版物分析自然语言推理(NLI)数据集中的表层线索,无论它们是否削弱了这些数据集底层任务的复杂性,以及它们如何影响在该数据上优化和评估的模型。本结构化综述通过对英语中报告的模型和数据集弱点以及为揭示和缓解这些弱点所提出的方法进行分类,提供了对这一不断演进研究领域的概览。我们总结并讨论了这些发现,并以一组可能的未来研究方向建议作结。我们希望它将成为提出新数据集的研究人员的有用资源,使其拥有一套工具来评估其数据在评估各种感兴趣现象时的适用性和质量,以及那些开发新架构的人员,以进一步理解其改进相对于模型所获得能力的意义。
引用
@article{arxiv.2005.14709,
title = {Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models},
author = {Viktor Schlegel and Goran Nenadic and Riza Batista-Navarro},
journal= {arXiv preprint arXiv:2005.14709},
year = {2020}
}
备注
10 Pages