我的模型使用了正确的证据吗？检验基于证据的表格推理的系统探针
计算与语言
2022-03-08 v3 人工智能
摘要
神经模型在 NLP 任务（包括涉及“推理”的任务）上取得了最先进的性能。声称对其所呈现证据进行推理的模型应当关注输入中正确的部分以避免其中的伪模式，在跨输入预测中保持自洽，并以细致、上下文敏感的方式不受预训练偏置影响。*BERT 系列模型是否做到了这些？* 在本文中，我们使用表格数据推理问题来研究这一问题。表格输入尤其适合该研究——它们允许针对如上所列性质进行系统性探针。我们的实验表明，作为当前最先进代表的基于 RoBERTa 的模型在以下方面的推理存在失败：它 (a) 忽略证据的相关部分，(b) 对标注伪影过度敏感，以及 (c) 依赖预训练语言模型中编码的知识而非其表格输入中呈现的证据。最后，通过接种实验，我们表明在扰动数据上微调模型并不能帮助其克服上述挑战。
引用
@article{arxiv.2108.00578,
title = {Is My Model Using The Right Evidence? Systematic Probes for Examining Evidence-Based Tabular Reasoning},
author = {Vivek Gupta and Riyaz A. Bhat and Atreya Ghosal and Manish Shrivastava and Maneesh Singh and Vivek Srikumar},
journal= {arXiv preprint arXiv:2108.00578},
year = {2022}
}
备注
20 pages, 17 figure, 11 tables, TACL 2022, pre-MIT Press publication version