大语言模型中常识知识的系统性研究
计算与语言
2022-11-02 v3
摘要
在大量数据上训练的语言模型（LM）已在零样本和少样本设置下的许多 NLP 任务中展现出令人印象深刻的性能。在此我们旨在更好地理解此类模型学习常识知识的程度——这是许多 NLP 应用的关键组成部分。我们对大型预训练 LM 进行了系统且严格的零样本与少样本常识评估，其中我们：（i）仔细控制 LM 利用潜在表层线索与标注伪影的能力，以及（ii）考虑由与常识知识无关的因素引起的性能变化。我们的发现凸显了预训练 LM 在没有任务特定监督下获取常识知识的局限性；此外，使用更大模型或少样本评估不足以达到人类水平的常识性能。
引用
@article{arxiv.2111.00607,
title = {A Systematic Investigation of Commonsense Knowledge in Large Language Models},
author = {Xiang Lorraine Li and Adhiguna Kuncoro and Jordan Hoffmann and Cyprien de Masson d'Autume and Phil Blunsom and Aida Nematzadeh},
journal= {arXiv preprint arXiv:2111.00607},
year = {2022}
}
备注
Accepted to EMNLP 2022