一种用于少样本命名实体识别的具有任务特定预训练的多任务语义分解框架
计算与语言
2023-08-29 v1
摘要
少样本命名实体识别的目标是在有限标注实例下识别命名实体。先前工作主要聚焦于优化传统的逐 token 分类框架,而忽视了对基于NER数据特征的信息的探索。为解决此问题,我们提出了一种通过联合任务特定预训练(MSDP)的用于少样本NER的多任务语义分解框架。受基于演示与对比学习的启发,我们引入了两个新颖的预训练任务:基于演示的掩码语言建模(MLM)与类别对比判别。这些任务有效地将实体边界信息纳入预训练语言模型(PLMs)中并增强实体表示。在下游主任务中,我们引入带有语义分解方法的多任务联合优化框架,其促进模型整合两种不同语义信息以进行实体分类。两个少样本NER基准的实验结果表明,MSDP始终大幅优于强基线。大量分析验证了MSDP的有效性与泛化能力。
引用
@article{arxiv.2308.14533,
title = {A Multi-Task Semantic Decomposition Framework with Task-specific Pre-training for Few-Shot NER},
author = {Guanting Dong and Zechen Wang and Jinxu Zhao and Gang Zhao and Daichi Guo and Dayuan Fu and Tingfeng Hui and Chen Zeng and Keqing He and Xuefeng Li and Liwen Wang and Xinyue Cui and Weiran Xu},
journal= {arXiv preprint arXiv:2308.14533},
year = {2023}
}
备注
Accepted by CIKM 2023 (Oral Presentation)