面向增量命名实体识别的任务关系蒸馏与原型伪标签
计算与语言
2023-08-21 v1
摘要
增量命名实体识别(INER)涉及在不访问已学类型训练数据的情况下顺序学习新实体类型。然而，INER面临增量学习特有的灾难性遗忘挑战，且受背景偏移（即当前任务中将旧实体类型与未来实体类型标为非实体类型）进一步加剧。为应对这些挑战，我们提出一种称为任务关系蒸馏与原型伪标签(RDP)的INER方法。具体而言，为应对灾难性遗忘，我们引入任务关系蒸馏方案，其具有双重目的：1)通过最小化任务间关系蒸馏损失确保不同增量学习任务间的语义一致性；2)通过最小化任务内自熵损失增强模型预测置信度。同时，为缓解背景偏移，我们开发了一种原型伪标签策略，利用旧模型区分旧实体类型与当前非实体类型。该策略通过度量词元嵌入与类型原型间距离生成高质量伪标签。我们在三个基准数据集（即CoNLL2003、I2B2和OntoNotes5）的十个INER设定上进行了大量实验。结果表明，我们的方法相较先前最优方法取得显著改进，Micro F1分数平均提升6.08%，Macro F1分数平均提升7.71%。
引用
@article{arxiv.2308.08793,
title = {Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition},
author = {Duzhen Zhang and Hongliu Li and Wei Cong and Rongtao Xu and Jiahua Dong and Xiuyi Chen},
journal= {arXiv preprint arXiv:2308.08793},
year = {2023}
}
备注
Accepted by CIKM2023 as a long paper with an oral presentation