关于 BERT 中用于求解常识任务的常识线索
计算与语言
2021-06-16 v3
摘要
BERT 已被用于求解常识任务，如 CommonsenseQA。尽管先前研究发现 BERT 在某种程度上确实包含常识信息，但也有工作表明预训练模型在解决情感分类等问题时可能依赖虚假关联（如数据偏差）而非关键线索。我们定量研究了 BERT 在求解常识任务时结构性常识线索的存在性，以及此类线索对模型预测的重要性。使用两种不同的度量，我们发现 BERT 确实使用了相关知识来求解任务，且常识知识的存在与模型准确率正相关。
关键词
引用
@article{arxiv.2008.03945,
title = {On Commonsense Cues in BERT for Solving Commonsense Tasks},
author = {Leyang Cui and Sijie Cheng and Yu Wu and Yue Zhang},
journal= {arXiv preprint arXiv:2008.03945},
year = {2021}
}