一模型通用于全领域：面向跨领域命名实体识别的协作式领域前缀微调
计算与语言
2023-09-19 v5 人工智能
数据库
信息检索
机器学习
摘要
跨领域命名实体识别（NER）是解决实际场景中低资源问题的具有挑战性的任务。以往典型的解决方案主要通过使用富资源领域数据预训练语言模型（PLMs）得到NER模型，并将其适配到目标领域。由于不同领域间实体类型的不匹配问题，以往方法通常微调PLMs的全部参数，最终为每个领域得到一个全新的NER模型。此外，当前模型仅关注利用单一通用源领域中的知识，而未能成功将多源知识迁移至目标领域。为解决这些问题，我们基于文本到文本生成式PLMs提出了面向跨领域NER的协作式领域前缀微调（CP-NER）。具体而言，我们提出以文本到文本生成来 grounding 领域相关指令，从而在不修改模型结构的情况下将知识迁移到新领域NER任务。我们利用冻结的PLMs并进行协作式领域前缀微调，以激发PLMs处理跨领域NER任务的潜力。在Cross-NER基准上的实验结果表明，所提方法具有灵活的迁移能力，并在单源与多源跨领域NER任务上均表现更优。代码见 https://github.com/zjunlp/DeepKE/tree/main/example/ner/cross。
引用
@article{arxiv.2301.10410,
title = {One Model for All Domains: Collaborative Domain-Prefix Tuning for Cross-Domain NER},
author = {Xiang Chen and Lei Li and Shuofei Qiao and Ningyu Zhang and Chuanqi Tan and Yong Jiang and Fei Huang and Huajun Chen},
journal= {arXiv preprint arXiv:2301.10410},
year = {2023}
}
备注
IJCAI 2023