CLEVE：面向事件抽取的对比预训练
计算与语言
2021-06-01 v1
摘要
事件抽取（EE）通过微调预训练语言模型（PLMs）已获益良多。然而，现有预训练方法未涉及事件特性建模，导致所开发的EE模型无法充分利用大规模无监督数据。为此，我们提出CLEVE，一种面向EE的对比预训练框架，以从大规模无监督数据及其由自动解析器获得的语义结构（如AMR）中更好地学习事件知识。CLEVE包含一个文本编码器用于学习事件语义，以及一个图编码器用于学习事件结构。具体而言，文本编码器通过自监督对比学习学习事件语义表示，使同一事件的词比不相关词距离更近；图编码器通过在解析出的事件相关语义结构上进行图对比预训练来学习事件结构表示。这两种互补的表示随后协同作用，改进常规有监督EE与无监督“自由式”EE——后者要求在无任何标注数据的情况下联合抽取事件并发现事件模式。在ACE 2005和MAVEN数据集上的实验表明，CLEVE取得了显著提升，尤其在具有挑战性的无监督设定下。源代码与预训练检查点可从 https://github.com/THU-KEG/CLEVE 获取。
引用
@article{arxiv.2105.14485,
title = {CLEVE: Contrastive Pre-training for Event Extraction},
author = {Ziqi Wang and Xiaozhi Wang and Xu Han and Yankai Lin and Lei Hou and Zhiyuan Liu and Peng Li and Juanzi Li and Jie Zhou},
journal= {arXiv preprint arXiv:2105.14485},
year = {2021}
}
备注
Accepted at ACL 2021