Meta-X$_{NLG}$：一种基于语言聚类的元学习方法用于零样本跨语言迁移与生成
计算与语言
2022-03-22 v1
摘要
近来，NLP 社区见证了多语与跨语言迁移研究的快速发展，其中监督从高资源语言（HRLs）迁移到低资源语言（LRLs）。然而，跨语言迁移在不同语言间并不均匀，尤其在零样本设定下。针对此目标，一个有前景的研究方向是从有限标注数据的多任务中学习可共享结构。下游多语应用可受益于此类学习设置，因为全球大多数语言为低资源且与其他语言共享某些结构。本文提出一种新颖的元学习框架（称为 Meta-X），基于元学习和语言聚类从类型学多样的语言中学习可共享结构。这是朝 unseen 语言的均匀跨语言迁移迈出的一步。我们首先基于语言表示对语言聚类并识别每个簇的中心语言。然后，用所有中心语言训练一个元学习算法，并在零样本设定下对其他语言评估。我们在两个 NLG 任务（抽象文本摘要和问题生成）、5 个流行数据集和 30 种类型学多样的语言上展示了该建模的有效性。相较强基线的持续提升证明了所提框架的功效。模型的精心设计中使该端到端 NLG 设置较不易受偶然翻译问题影响，而后者是零样本跨语言 NLG 任务中的显著关切。
引用
@article{arxiv.2203.10250,
title = {Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation},
author = {Kaushal Kumar Maurya and Maunendra Sankar Desarkar},
journal= {arXiv preprint arXiv:2203.10250},
year = {2022}
}