面向少样本持续学习命名实体识别的提示调优
计算与语言
2025-08-12 v1
摘要
知识蒸馏已成功应用于持续学习命名实体识别（CLNER）任务,通过使用在旧类别数据上训练的教师模型来蒸馏新类别数据中存在的旧类别实体作为一种正则化形式,从而避免灾难性遗忘。然而,在少样本 CLNER（FS-CLNER）任务中,新类别实体的稀缺性使模型在推理期间难以泛化。更严重的是,缺乏旧类别实体信息会阻碍旧知识的蒸馏,导致模型陷入我们称之为少样本蒸馏困境的局面。本文通过提示调优范式和记忆演示模板策略来解决上述挑战。具体而言,我们设计了可扩展的锚定词导向提示调优（APT）范式,以弥合预训练和微调之间的差距,从而增强在少样本情境下的性能。此外,我们将记忆演示模板（MDT）整合到每个训练实例中,以提供来自以前任务的回放样本,这不仅避免了少样本蒸馏困境,还促进了情境学习。实验表明,我们的做法在 FS-CLNER 上实现了具竞争力的性能。
引用
@article{arxiv.2508.07248,
title = {Prompt Tuning for Few-Shot Continual Learning Named Entity Recognition},
author = {Zhe Ren},
journal= {arXiv preprint arXiv:2508.07248},
year = {2025}
}