E-BERT：面向 BERT 的高效而有效的实体嵌入
计算与语言
2020-05-04 v2
摘要
我们提出一种将关于实体的事实知识注入预训练 BERT 模型（Devlin 等，2019）的新方法：我们将 Wikipedia2Vec 实体向量（Yamada 等，2016）与 BERT 原生的 wordpiece 向量空间对齐，并将对齐后的实体向量当作 wordpiece 向量使用。所得的实体增强版 BERT（称为 E-BERT）在思想上类似于 ERNIE（Zhang 等，2019）和 KnowBert（Peters 等，2019），但它不需要对 BERT 编码器进行昂贵的进一步预训练。我们在无监督问答（QA）、有监督关系分类（RC）和实体链接（EL）上评估 E-BERT。在这三项任务上，E-BERT 均优于 BERT 及其他基线。我们还定量地表明，原始 BERT 模型过度依赖实体名的表面形式（例如，猜测具有意大利语发音之名的人说意大利语），而 E-BERT 缓解了这一问题。
引用
@article{arxiv.1911.03681,
title = {E-BERT: Efficient-Yet-Effective Entity Embeddings for BERT},
author = {Nina Poerner and Ulli Waltinger and Hinrich Schütze},
journal= {arXiv preprint arXiv:1911.03681},
year = {2020}
}