基于样本感知动态稀疏微调的统一低资源序列标注
计算与语言
2023-11-08 v1
摘要
统一序列标注将命名实体识别、关系抽取、语义角色标注等不同序列标注问题表述为广义的序列到序列格式，为最大化利用大语言模型知识进行结构化预测提供了契机。遗憾的是，这需将其格式化为基预训练语言模型（PLMs）未知的特殊增强格式，从而必须对目标格式微调。这在数据有限场景下严重限制了其效用，因为微调大模型无法恰当泛化至目标格式。为应对此挑战并有效利用PLM知识，我们提出FISH-DIP，一种样本感知动态稀疏微调策略，在微调过程中依据高回归样本反馈，选择性聚焦于部分参数。通过利用稀疏性的动态性，我们的方法减轻已学好样本的影响，并优先改进表现不佳的实例以提升泛化。在五项序列标注任务上，我们证明FISH-DIP能在低资源设定下平滑优化模型，相较全微调最高提升40%性能（取决于目标评估设定）。此外，相较于上下文学习与其他参数高效微调方法，FISH-DIP表现相当或更优，尤其在极低收入资源设定下。
引用
@article{arxiv.2311.03748,
title = {Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning},
author = {Sarkar Snigdha Sarathi Das and Ranran Haoran Zhang and Peng Shi and Wenpeng Yin and Rui Zhang},
journal= {arXiv preprint arXiv:2311.03748},
year = {2023}
}
备注
Accepted by EMNLP 2023