度量预训练语言模型中知识获取与利用的鸿沟
计算与语言
2023-05-25 v1 人工智能
机器学习
摘要
尽管预训练语言模型（PLMs）已显示出获取大量知识的证据，但尚不清楚这些参数化知识中有多少能真正用于执行下游任务。我们提出一个系统性框架来度量 PLMs 中的参数化知识利用。我们的框架首先从 PLM 的参数中提取知识，随后围绕该提取知识构建下游任务。因此，在此任务上的表现完全依赖于利用模型已掌握的知识，避免了如信号不足等混杂因素。作为一个实例，我们研究了 PLMs 的事实知识，并度量了从 125M 到 13B 参数 PLMs 的利用情况。我们观察到：（1）PLMs 表现出两种鸿沟——已获取知识与已利用知识之间的鸿沟；（2）它们在分布偏移下利用知识时表现出有限的鲁棒性；（3）更大的模型缩小了已获取知识的鸿沟，但已利用知识的鸿沟仍然存在。总体而言，我们的研究提供了关于 PLMs 超越其已获取知识的能力的见解。
引用
@article{arxiv.2305.14775,
title = {Measuring the Knowledge Acquisition-Utilization Gap in Pretrained Language Models},
author = {Amirhossein Kazemnejad and Mehdi Rezagholizadeh and Prasanna Parthasarathi and Sarath Chandar},
journal= {arXiv preprint arXiv:2305.14775},
year = {2023}
}