部分输入基线表明 NLI 模型可忽略上下文，但实际上它们并未忽略
计算与语言
2022-05-25 v1
摘要
当强大的部分输入基线揭示众包 NLI 数据集中的伪影时，在此类数据集上训练的全输入模型的性能常被视为依赖于虚假相关性而被否定。我们研究最先进的 NLI 模型是否能够覆盖部分输入基线所做出的默认推断。我们引入一个由 600 个经扰动前提组成的评估集，以检验 RoBERTa 模型对编辑后上下文的敏感性。我们的结果表明，尽管在充满伪影的数据集上训练，NLI 模型仍能够学习以上下文为条件——这是推理推理的必要组成部分。
引用
@article{arxiv.2205.12181,
title = {Partial-input baselines show that NLI models can ignore context, but they don't},
author = {Neha Srikanth and Rachel Rudinger},
journal= {arXiv preprint arXiv:2205.12181},
year = {2022}
}
备注
NAACL 2022 (Camera-Ready)