通过适配预训练神经语言模型改进序列标注任务的迁移学习
计算与语言
2025-10-24 v1
摘要
本博士论文通过适配预训练神经语言模型来改进序列标注任务的迁移学习。所提出的迁移学习改进包括：引入融合额外信号的多任务模型、基于自回归大语言模型架构修改的方法，以及利用监督上下文内微调结合面向响应的适配策略的自回归大语言模型序列标注框架。第一项改进是在事件触发词检测任务的领域迁移背景下给出的。通过将来自领域无关文本处理系统的额外信号融入多任务模型，可以改进事件触发词检测任务的领域迁移。第二项改进涉及修改模型架构。为此，提出了一种方法来实现自回归大语言模型层之间的双向信息流。第三项改进利用自回归大语言模型作为文本生成器，通过生成式监督上下文内微调框架实现。所提出的模型、方法和框架表明，预训练神经语言模型在通过定向迁移学习范式适配时，能够在序列标注任务上取得最佳性能。
引用
@article{arxiv.2510.20033,
title = {Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models},
author = {David Dukić},
journal= {arXiv preprint arXiv:2510.20033},
year = {2025}
}