我们如何知晓语言模型知道什么？
计算与语言
2020-05-05 v2 机器学习
摘要
近期的工作通过让语言模型（LM）填补诸如“Obama is a _ by profession”这类提示的空白，考察了语言模型中所包含的知识，并给出了引人关注的结果。这些提示通常是人工创建的，且极有可能并非最优；另一个提示如“Obama worked as a _”可能会更准确地预测出正确的职业。因此，给定一个不恰当的提示，我们可能无法检索出语言模型确实知道的事实，从而任何给定的提示都只是对语言模型所含知识的一个下界估计。在本文中，我们尝试通过自动发现该查询过程中更好的提示，来更准确地估计语言模型中所含的知识。具体而言，我们提出了基于挖掘和基于改写的方法来自动生成高质量且多样的提示，以及用于结合不同提示答案的集成方法。在用于从语言模型中提取关系知识的 LAMA 基准上的大量实验表明，我们的方法能将准确率从 31.1% 提升到 39.6%，从而提供了一个更紧的语言模型所知知识的下界。我们已在 https://github.com/jzbjyb/LPAQA 发布了代码及生成的 LM Prompt And Query Archive (LPAQA)。
引用
@article{arxiv.1911.12543,
title = {How Can We Know What Language Models Know?},
author = {Zhengbao Jiang and Frank F. Xu and Jun Araki and Graham Neubig},
journal= {arXiv preprint arXiv:1911.12543},
year = {2020}
}
备注
TACL 2020