TKDP：面向少样本命名实体识别的三重知识增强深度提示微调
计算与语言
2023-06-13 v2
摘要
少样本命名实体识别（NER）利用有限标注实例来识别命名提及。因此，有效迁移内部或外部资源成为少样本 NER 的关键。尽管现有提示微调方法已展现出卓越的少样本性能，它们仍未能充分利用知识。在本工作中，我们研究将丰富知识整合至提示微调中以增强少样本 NER。我们提出将深度提示微调框架与三重知识（即 TKDP）结合，包括内部的 1）上下文知识与外部的 2）标签知识及 3）义原知识。TKDP 对三种特征来源进行编码并融入软提示嵌入，进而注入现有预训练语言模型以辅助预测。在五个基准数据集上，我们的知识增强模型相较原始深度提示方法最多提升 11.53% F1，并在 5-/10-/20-shot 设定下显著优于 8 个强性能基线系统，展现出少样本 NER 的巨大潜力。我们的 TKDP 可轻松广泛适配其他少样本任务。
引用
@article{arxiv.2306.03974,
title = {TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition},
author = {Jiang Liu and Hao Fei and Fei Li and Jingye Li and Bobo Li and Liang Zhao and Chong Teng and Donghong Ji},
journal= {arXiv preprint arXiv:2306.03974},
year = {2023}
}
备注
under review