面向关系抽取的细粒度对比学习

近期的关系抽取（RE）工作表明，在远程监督生成的银标签上进行对比学习后再在金标签上微调，取得了令人鼓舞的改进。现有方法通常假设所有这些银标签都是准确的并平等对待它们；然而，远程监督不可避免地存在噪声——某些银标签比其他更可靠。本文中，我们提出面向关系抽取的细粒度对比学习（FineCL），它利用关于哪些银标签有噪声、哪些没有的细粒度信息，以提升 RE 所学关系表示的质量。我们首先通过一种简单自动的方法（称为“学习顺序去噪”）评估银标签质量，即训练一个语言模型学习这些关系并记录学习训练实例的顺序。我们表明学习顺序在很大程度上对应于标签准确率——早学得的银标签平均比晚学得的银标签标签更准确。然后，在预训练期间，我们在一个新颖的对比学习目标中增加准确标签的权重。在多个 RE 基准上的实验表明，FineCL 相较最先进方法取得了稳定且显著的性能提升。