ERICA：通过对比学习提升预训练语言模型的实体与关系理解能力
计算与语言
2021-05-27 v2 人工智能
摘要
预训练语言模型（PLMs）在各种下游自然语言处理（NLP）任务上展现出了优越的性能。然而，传统的预训练目标并未显式地对文本中的关系事实进行建模，而这对于文本理解至关重要。为解决这一问题，我们提出了一种新颖的对比学习框架 ERICA，以深入理解文本中的实体及其关系。具体而言，我们定义了两个新颖的预训练任务以更好地理解实体与关系：（1）实体判别任务，用于区分给定头实体和关系可推断出哪个尾实体；（2）关系判别任务，用于区分两个关系在语义上是否相近，其涉及复杂的关系推理。实验结果表明，ERICA 能够在若干语言理解任务上提升典型的 PLMs（BERT 和 RoBERTa），包括关系抽取、实体 typing 和问答，尤其在低资源设定下表现突出。
引用
@article{arxiv.2012.15022,
title = {ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning},
author = {Yujia Qin and Yankai Lin and Ryuichi Takanobu and Zhiyuan Liu and Peng Li and Heng Ji and Minlie Huang and Maosong Sun and Jie Zhou},
journal= {arXiv preprint arXiv:2012.15022},
year = {2021}
}
备注
Accepted by ACL-IJCNLP 2021 main conference