Ered：融合实体与描述的增强文本表示
计算与语言
2022-08-19 v1
摘要
外部知识（如实体与实体描述）可帮助人类理解文本。已有许多工作探索将外部知识引入预训练模型。这些方法通常设计预训练任务并通过更新模型权重隐式引入知识，或者将外部知识与原始文本一同直接输入模型。尽管有效，仍存在若干局限。一方面，引入方式是隐式的且只关注模型权重，预训练实体嵌入被忽略；另一方面，实体描述可能冗长，与原始文本一同输入可能分散模型注意力。本文旨在在微调阶段显式地同时引入实体与实体描述。首先，将预训练实体嵌入与原始文本表示融合，并由骨干模型逐层更新。其次，描述由骨干模型之外的知识模块表示，每个知识层选择性地连接到一个骨干层进行融合。第三，设计两个与知识相关的辅助任务，即实体/描述增强与实体增强/污染任务，以平滑演化表示之间的语义鸿沟。我们在四个知识导向任务和两个通用任务上开展实验，结果在多个数据集上取得新的 SOTA。此外，我们进行了消融研究以表明方法中各模块均为必要。代码见 https://github.com/lshowway/Ered。
引用
@article{arxiv.2208.08954,
title = {Ered: Enhanced Text Representations with Entities and Descriptions},
author = {Qinghua Zhao and Shuai Ma and Yuxuan Lei},
journal= {arXiv preprint arXiv:2208.08954},
year = {2022}
}