ExBERT：一种用于自然语言推理的外部知识增强BERT
计算与语言
2021-08-04 v1
摘要
像BERT这样在大规模非结构化语料库上预训练的神经语言表示模型，缺乏对现实世界常识知识的显式基础，并且常常无法记住推理和推断所需的事实。自然语言推理（NLI）是一项具有挑战性的推理任务，它依赖于人类对语言和现实世界常识知识的共同理解。我们为NLI引入了一种新模型，称为外部知识增强BERT（ExBERT），以利用来自外部知识源的真实世界常识知识丰富上下文表示，并增强BERT的语言理解和推理能力。ExBERT充分利用从BERT获得的上下文词表示，并利用它们从知识图谱中检索相关的外部知识，并对检索到的外部知识进行编码。我们的模型自适应地融合了对输入进行推理所需的外部知识上下文。在具有挑战性的SciTail和SNLI基准上的大量实验证明了ExBERT的有效性：与先前的最先进技术相比，我们在SciTail上获得了95.9%的准确率，在SNLI上获得了91.5%的准确率。
引用
@article{arxiv.2108.01589,
title = {ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference},
author = {Amit Gajbhiye and Noura Al Moubayed and Steven Bradley},
journal= {arXiv preprint arXiv:2108.01589},
year = {2021}
}