低资源多任务序列标注——重访动态条件随机场
计算与语言
2020-05-04 v1
摘要
我们比较了不同的低资源多任务序列标注模型，这些模型利用了不同任务的标签序列之间的依赖关系。我们的分析针对每个样本具有多个任务标签的数据集。当前方法要么对每个任务使用单独的模型，要么使用标准多任务学习来学习共享特征表示。然而，这些方法忽略了标签序列之间的相关性，而在小型训练数据集中，这些相关性可提供重要信息。为了分析哪些场景可从不同任务间标签依赖建模中获益，我们重访动态条件随机场 (CRF) 并将其与深度神经网络结合。我们在英语和德语低资源场景下，于句子和文档层面对三个不同的数据集比较了单任务、多任务和动态 CRF 设置。我们表明，将来自预训练词性标注器的银标签作为辅助任务纳入可改善下游任务性能。我们发现，尤其在低资源场景中，对任务预测间相互依赖的显式建模优于单任务以及标准多任务模型。
引用
@article{arxiv.2005.00250,
title = {Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields},
author = {Jonas Pfeiffer and Edwin Simpson and Iryna Gurevych},
journal= {arXiv preprint arXiv:2005.00250},
year = {2020}
}