实体即专家：基于实体监督的稀疏记忆访问
计算与语言
2020-10-08 v2 机器学习
摘要
我们关注于在语言模型的学习参数中捕获关于实体的陈述性知识的问题。我们引入了一种新模型——实体即专家（Entities as Experts, EAE）——它能够访问文本中提到的各个实体的独立记忆。与以往将实体知识整合进序列模型的努力不同，EAE 的实体表示是直接从文本中学习得到的。我们表明，EAE 学习到的表示捕获了足够的知识来回答 TriviaQA 问题，例如“哪位神秘博士（Dr. Who）反派由 Roger Delgado、Anthony Ainley、Eric Roberts 扮演过？”，其表现优于参数规模大 10 倍的编码器-生成器 Transformer 模型。根据 LAMA 知识探针，EAE 包含比同等规模的 BERT 以及先前整合外部实体知识来源的方法更多的实事知识。由于 EAE 将参数与特定实体相关联，它在推理时只需访问其参数的一小部分，并且我们表明对实体的正确识别与表示对 EAE 的性能至关重要。
引用
@article{arxiv.2004.07202,
title = {Entities as Experts: Sparse Memory Access with Entity Supervision},
author = {Thibault Févry and Livio Baldini Soares and Nicholas FitzGerald and Eunsol Choi and Tom Kwiatkowski},
journal= {arXiv preprint arXiv:2004.07202},
year = {2020}
}