基于远监督加权对比预训练的关系抽取
计算与语言
2023-02-13 v2
摘要
远监督上的对比预训练在改进有监督关系抽取任务方面已显示出显著有效性。然而，现有方法在预训练阶段忽略了远监督的内在噪声。在本文中，我们提出一种加权对比学习方法，通过利用有监督数据来估计预训练实例的可靠性，并显式降低噪声的影响。在三个有监督数据集上的实验结果证明了我们提出的加权对比学习方法相较于两个最先进的非加权基线的优势。我们的代码与模型可在 https://github.com/YukinoWan/WCL 获取。
引用
@article{arxiv.2205.08770,
title = {Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision},
author = {Zhen Wan and Fei Cheng and Qianying Liu and Zhuoyuan Mao and Haiyue Song and Sadao Kurohashi},
journal= {arXiv preprint arXiv:2205.08770},
year = {2023}
}
备注
EACL 2023 (Findings)