无灾难性遗忘的持续命名实体识别
计算与语言
2023-10-24 v1
摘要
持续命名实体识别（CNER）是一个新兴领域，涉及通过顺序引入新实体类型来更新现有模型。然而，持续学习方法常常深受灾难性遗忘的困扰。由于在每个步骤中先前步骤的旧实体类型被合并为非实体类型，这一问题在 CNER 中更为严重，导致了所谓的非实体类型的语义偏移问题。在本文中，我们引入了一种池化特征蒸馏损失，巧妙地权衡保留旧实体类型知识与学习新类型之间的关系，从而更有效地缓解灾难性遗忘问题。此外，我们为非实体类型开发了基于置信度的伪标注方法，即使用旧模型预测实体类型以应对非实体类型的语义偏移。在伪标注过程之后，我们提出了一种基于自适应重加权的类型平衡学习策略来处理类型分布偏斜的问题。我们在三个不同数据集的十种 CNER 设定上进行了全面实验。结果表明，我们的方法显著优于先前最先进的（state-of-the-art）方法，在 Micro 和 Macro F1 分数上分别实现了平均 6.3% 和 8.0% 的提升。
引用
@article{arxiv.2310.14541,
title = {Continual Named Entity Recognition without Catastrophic Forgetting},
author = {Duzhen Zhang and Wei Cong and Jiahua Dong and Yahan Yu and Xiuyi Chen and Yonggang Zhang and Zhen Fang},
journal= {arXiv preprint arXiv:2310.14541},
year = {2023}
}
备注
Accepted by EMNLP2023 main conference as a long paper