语言模型可作为知识库吗？
计算与语言
2019-09-05 v2
摘要
近期在大型文本语料上预训练语言模型的进展带来了下游NLP任务的一系列提升。在学习语言知识的同时，这些模型也可能在存储训练数据中存在的关联知识，并能够回答结构为“填空”式完形填空语句的查询。语言模型相比结构化知识库具有诸多优势：无需模式工程、允许从业者查询开放类的关联关系、易于扩展到更多数据、且训练无需人工监督。我们对数种最先进的预训练语言模型中已存在（无需微调）的关联知识进行了深入分析。我们发现：（i）无需微调时，BERT包含的关联知识可与某些能访问预言机知识的传统NLP方法相竞争；（ii）BERT在开放域问答上相对于有监督基线也表现惊人地好；（iii）某些类型的实事知识比其它类型更容易通过标准语言模型预训练方法习得。这些模型无需任何微调即可回忆实事知识的惊人能力，展示了其作为无监督开放域问答系统的潜力。用于复现我们分析的代码可在 https://github.com/facebookresearch/LAMA 获取。
引用
@article{arxiv.1909.01066,
title = {Language Models as Knowledge Bases?},
author = {Fabio Petroni and Tim Rocktäschel and Patrick Lewis and Anton Bakhtin and Yuxiang Wu and Alexander H. Miller and Sebastian Riedel},
journal= {arXiv preprint arXiv:1909.01066},
year = {2019}
}
备注
accepted at EMNLP 2019