给我事实！预训练语言模型中事实知识探测综述
计算与语言
2023-12-06 v2
摘要
预训练语言模型（PLMs）在富含世界知识的海量无标注数据上训练。这一事实引发了学界对量化 PLMs 中事实知识量的兴趣，因为这可以解释其在下游任务上的表现，并可能为将其用作知识库提供合理性依据。本文中，我们综述了用于探测 PLMs 事实知识的方法与数据集。我们的贡献如下：（1）提出了一种基于输入、输出及被探测 PLMs 适配方式的事实探测方法分类方案；（2）提供了用于事实探测的数据集概览；（3）综合了关于 PLMs 中知识保留与提示优化的见解，分析了将 PLMs 用作知识库的障碍，并勾勒了未来工作的方向。
引用
@article{arxiv.2310.16570,
title = {Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models},
author = {Paul Youssef and Osman Alperen Koraş and Meijie Li and Jörg Schlötterer and Christin Seifert},
journal= {arXiv preprint arXiv:2310.16570},
year = {2023}
}
备注
Accepted at EMNLP Findings 2023