用于少样本关系抽取的协同锚定对比预训练
计算与语言
2024-03-12 v3 人工智能
摘要
少样本关系抽取 (FSRE) 旨在从稀疏的标注语料库中提取关系事实。近期的研究表明，通过在监督对比学习框架内采用预训练语言模型 (PLMs)，FSRE 取得了令人瞩目的结果，该框架同时考虑了实例和标签事实。然而，在这种学习范式中，如何有效利用海量实例-标签对以使所学表示蕴含丰富的语义信息，尚未得到充分探索。为了填补这一空白，我们引入了一种新颖的协同锚定对比预训练框架。该框架的动机源于这样一种洞察：通过实例-标签对传达的多样化视角捕获了不完整但互补的内在文本语义。具体而言，我们的框架包含一个对称的对比目标，涵盖了句子锚定对比损失和标签锚定对比损失。通过结合这两种损失，模型建立了一个鲁棒且均匀的表示空间。该空间有效捕获了实例与关系事实之间特征分布的互惠对齐，同时增强了同一关系内不同视角间互信息的最大化。实验结果表明，与基线模型相比，我们的框架在下游 FSRE 任务中取得了显著的性能提升。此外，我们的方法在应对领域偏移和零样本关系抽取的挑战时表现出卓越的适应性。我们的代码可在 https://github.com/AONE-NLP/FSRE-SaCon 在线获取。
引用
@article{arxiv.2312.12021,
title = {Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction},
author = {Da Luo and Yanglei Gan and Rui Hou and Run Lin and Qiao Liu and Yuxiang Cai and Wannian Gao},
journal= {arXiv preprint arXiv:2312.12021},
year = {2024}
}