鸟有四条腿？！NumerSense：探查预训练语言模型的数值常识知识
计算与语言
2020-09-21 v2 人工智能
摘要
近期的研究表明，预训练语言模型（PTLM），如BERT，具备一定的常识与事实知识。它们指出，通过预测掩码词将PTLM用作“神经知识库”是有前景的。令人惊讶的是，我们发现这对于数值常识知识（例如，鸟通常有两条腿）可能并不奏效。在本文中，我们探究是否以及在何种程度上可以从PTLM中导出数值常识知识，以及该过程的鲁棒性。为此，我们引入了一项带有诊断数据集NumerSense的新型探查任务，该数据集包含13.6k个掩码词预测探查样本（10.5k用于微调，3.1k用于测试）。我们的分析揭示：(1) BERT及其更强变体RoBERTa在任何微调之前在诊断数据集上表现很差；(2) 使用远程监督进行微调带来了一定提升；(3) 与人工表现相比（准确率54.06%对96.3%），最佳监督模型仍表现很差。
引用
@article{arxiv.2005.00683,
title = {Birds have four legs?! NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models},
author = {Bill Yuchen Lin and Seyeon Lee and Rahul Khanna and Xiang Ren},
journal= {arXiv preprint arXiv:2005.00683},
year = {2020}
}
备注
To appear in Proceedings of EMNLP 2020. Project page: http://inklab.usc.edu/NumerSense/