用于持续少样本关系抽取的串行对比知识蒸馏
计算与语言
2023-05-12 v1
摘要
持续少样本关系抽取（RE）旨在利用少量标注训练数据持续训练模型以学习新关系，其主要挑战在于旧关系的灾难性遗忘以及由数据稀疏引起的过拟合。本文提出一种新模型，即SCKD，以完成持续少样本RE任务。具体而言，我们设计串行知识蒸馏以保留来自先前模型的先验知识，并利用伪样本进行对比学习，使不同关系中的样本表示具有充分的可区分性。我们在两个基准数据集上的实验验证了SCKD在持续少样本RE任务上的有效性，以及其在知识迁移和记忆利用方面相对于最先进（SOTA）模型的优越性。
引用
@article{arxiv.2305.06616,
title = {Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction},
author = {Xinyi Wang and Zitao Wang and Wei Hu},
journal= {arXiv preprint arXiv:2305.06616},
year = {2023}
}
备注
Accepted in the Findings of ACL 2023