在选择合理备选时，Clever Hans也可以很聪明
计算与语言
2019-11-04 v1
摘要
BERT和RoBERTa等预训练语言模型在常识推理基准COPA上显示出大幅改进。然而，近期研究发现，自然语言理解基准中的许多改进并非源于模型学习该任务，而是由于其日益增强的利用表层线索的能力，例如在与错误答案相比更常出现于正确答案中的词元。BERT和RoBERTa在COPA上的良好表现是否也由此类原因造成？我们在COPA中发现表层线索，以及BERT利用这些线索的证据。为补救该问题，我们引入Balanced COPA，即COPA的扩展版本，其不受易于利用的单词元线索影响。我们分析了BERT和RoBERTa在原始与Balanced COPA上的表现，发现BERT在表层线索存在时依赖它们，但在这些线索失效后仍取得相当的性能，表明BERT在被迫时会在一定程度上学习任务。相比之下，RoBERTa似乎并不依赖表层线索。
引用
@article{arxiv.1911.00225,
title = {When Choosing Plausible Alternatives, Clever Hans can be Clever},
author = {Pride Kavumba and Naoya Inoue and Benjamin Heinzerling and Keshav Singh and Paul Reisert and Kentaro Inui},
journal= {arXiv preprint arXiv:1911.00225},
year = {2019}
}
备注
Accepted to the COmmonsense INference in Natural Language Processing workshop (COIN)