面向跨任务与跨语言零样本学习的参数空间分解
计算与语言
2020-11-24 v3
摘要
由于标注数据匮乏，大多数NLP任务与语言变体的组合都缺乏用于监督训练的领域内样本。神经模型如何能从有可用数据的任务-语言组合中对低资源组合做出样本高效的泛化？在本工作中，我们提出一个针对神经参数空间的贝叶斯生成模型。我们假设该空间可分解为每种语言和每个任务的潜变量。我们基于所见任务-语言组合的数据，通过变分推断推断这些潜变量的后验。这使得在预测时对未见组合进行零样本分类成为可能。例如，给定越南语命名实体识别（NER）和Wolof语词性（POS）标注的训练数据，我们的模型可对Wolof语NER做出准确预测。特别地，我们使用来自4大洲11个语系的33种类型学多样语言进行实验，并展示我们的模型取得与最先进的零样本跨语言迁移方法相当或更好的结果。此外，我们证明近似贝叶斯模型平均导致更平滑的预测分布，其熵与准确率呈负相关。因此，所提框架还提供对预测不确定性的鲁棒估计。我们的代码位于 github.com/cambridgeltl/parameter-factorization。
引用
@article{arxiv.2001.11453,
title = {Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages},
author = {Edoardo M. Ponti and Ivan Vulić and Ryan Cotterell and Marinela Parovic and Roi Reichart and Anna Korhonen},
journal= {arXiv preprint arXiv:2001.11453},
year = {2020}
}