LightNER：一种基于可插拔提示的低资源命名实体识别轻量微调范式
计算与语言
2023-01-26 v5 人工智能
数据库
信息检索
机器学习
摘要
大多数 NER 方法依赖大量标注数据用于模型训练，这在训练数据有限的低资源场景下举步维艰。现有的主导方法通常面临目标领域与资源丰富的源领域具有不同标签集的挑战，可归纳为类迁移和域迁移。本文中，我们提出一种通过可插拔提示实现低资源 NER 的轻量微调范式（LightNER）。具体而言，我们构建实体类别的统一可学习 verbalizer，以生成实体跨度序列和实体类别，而无需任何特定于标签的分类器，从而解决类迁移问题。我们进一步提出一种可插拔引导模块，通过将可学习参数作为引导融入自注意力层，其可重新调节注意力并适配预训练权重。注意我们仅微调那些插入的模块，而预训练语言模型的全部参数保持固定，因此使我们的方法轻量且灵活，适用于低资源场景，并能更好地跨域迁移知识。实验结果表明，LightNER 在标准监督设定下可取得可比性能，并在低资源设定下优于强基线。代码见 https://github.com/zjunlp/DeepKE/tree/main/example/ner/few-shot。
引用
@article{arxiv.2109.00720,
title = {LightNER: A Lightweight Tuning Paradigm for Low-resource NER via Pluggable Prompting},
author = {Xiang Chen and Lei Li and Shumin Deng and Chuanqi Tan and Changliang Xu and Fei Huang and Luo Si and Huajun Chen and Ningyu Zhang},
journal= {arXiv preprint arXiv:2109.00720},
year = {2023}
}
备注
Accepted by COLING 2022