利用源模型与目标数据进行序列标注的迁移学习
计算与语言
2019-02-15 v1
摘要
本文提出一种迁移序列标注神经模型知识的方法：将源域学到的模型知识迁移到在目标域训练的新模型，其中出现了新的标注类别。我们的迁移学习(TL)技术能够在无需访问源数据的情况下，利用目标数据和新类别对源模型进行适配。我们的方案包括在目标模型输出层添加新神经元并从源模型迁移参数，随后用目标数据微调。此外，我们提出一个神经适配器来学习源标签分布与目标标签分布之间的差异，为目标模型提供额外的关键信息。我们在命名实体识别上的实验表明：(i) 当目标数据包含新类别时，源模型中学到的知识可被有效迁移；(ii) 我们的神经适配器进一步改善了此种迁移。
引用
@article{arxiv.1902.05309,
title = {Transfer Learning for Sequence Labeling Using Source Model and Target Data},
author = {Lingzhen Chen and Alessandro Moschitti},
journal= {arXiv preprint arXiv:1902.05309},
year = {2019}
}
备注
9 pages, 4 figures, 3 tables, accepted paper in the Thirty-Third AAAI Conference on Artificial Intelligence (AAAI-19)