持续对比微调改进低资源关系抽取
计算与语言
2023-06-01 v3 人工智能
机器学习
摘要
关系抽取（RE）依赖结构标注语料进行模型训练，在低资源场景和领域下尤其具有挑战性。近期文献通过自监督学习解决低资源 RE，其方案包括以 RE 为目标预训练实体对嵌入，并以分类为目标在标注数据上微调。然而，该方法的一个关键挑战是目标间的鸿沟，阻碍了 RE 模型充分利用预训练表示中的知识。本文旨在弥合这一鸿沟，提出使用一致的对比学习目标对 RE 模型进行预训练和微调。由于在此类表示学习范式中，一个关系可能在表示空间中轻易形成多个簇，我们进一步提出多中心对比损失，允许一个关系形成多个簇以更好地与预训练对齐。在两个文档级 RE 数据集 BioRED 和 Re-DocRED 上的实验证明了我们方法的有效性。特别地，当使用 1% 的端任务训练数据时，我们的方法在两个数据集上分别优于基于 PLM 的 RE 分类器 10.5% 和 6.1%。
引用
@article{arxiv.2212.10823,
title = {Continual Contrastive Finetuning Improves Low-Resource Relation Extraction},
author = {Wenxuan Zhou and Sheng Zhang and Tristan Naumann and Muhao Chen and Hoifung Poon},
journal= {arXiv preprint arXiv:2212.10823},
year = {2023}
}
备注
ACL 2023