语言模型作为知识库：论实体表示、存储容量与释义查询
计算与语言
2021-04-23 v2
摘要
预训练语言模型已被提议作为结构化知识库的一种可能替代或补充。然而，这一新兴的“语言模型即知识库（LM-as-KB）”范式迄今仅在非常有限的设定中被考虑，该设定仅能处理 21k 个其实名单令牌名称见于常见语言模型词表中的实体。此外，该范式的主要优势——即使用多种自然语言释义查询知识库——迄今未被充分探索。在此，我们提出将语言模型视为知识库的两个基本要求：（i）存储涉及大量实体的大量事实的能力，以及（ii）查询已存储事实的能力。我们探索了三种允许语言模型表示数百万实体的实体表示方式，并针对语言模型中世界知识的释义查询给出了详细的案例研究，从而提供了一个概念验证，表明语言模型确实可以充当知识库。
引用
@article{arxiv.2008.09036,
title = {Language Models as Knowledge Bases: On Entity Representations, Storage Capacity, and Paraphrased Queries},
author = {Benjamin Heinzerling and Kentaro Inui},
journal= {arXiv preprint arXiv:2008.09036},
year = {2021}
}
备注
EACL 2021