知识增强的上下文词表示
计算与语言
2019-11-01 v2
摘要
上下文词表示通常在非结构化、无标注文本上训练，不包含对任何真实世界实体的显式接地，且常无法记住关于这些实体的事实。我们提出一种将多个知识库（KBs）嵌入大规模模型的一般方法，从而以结构化、人工整理的知识增强其表示。对于每个KB，我们首先使用集成的实体链接器检索相关实体嵌入，然后通过一种词到实体的注意力形式更新上下文词表示。与以往方法不同，实体链接器与自监督语言建模目标在多任务设置中端到端联合训练，该设置结合了少量实体链接监督与大量原始文本。在将WordNet和Wikipedia的一个子集集成进BERT后，知识增强的BERT（KnowBert）展示了改进的困惑度、在探测任务中测得的事实回忆能力，以及在关系抽取、实体 typing 和词义消歧上的下游性能。KnowBert的运行时间与BERT相当，并可扩展到大型KB。
引用
@article{arxiv.1909.04164,
title = {Knowledge Enhanced Contextual Word Representations},
author = {Matthew E. Peters and Mark Neumann and Robert L. Logan and Roy Schwartz and Vidur Joshi and Sameer Singh and Noah A. Smith},
journal= {arXiv preprint arXiv:1909.04164},
year = {2019}
}
备注
EMNLP 2019