X-METRA-ADA:面向自然语言理解与问答的跨语言元迁移学习适配
计算与语言
2021-06-03 v2
摘要
多语言模型,如M-BERT与XLM-R,因其零样本跨语言迁移学习能力而日益流行。然而,它们对类型学多样语言的泛化能力仍不一致,且在不同基准上表现不一。近来,元学习作为一种在低资源场景下增强迁移学习(尤其是自然语言理解(NLU)中的跨语言迁移)前景可观的技术而受到关注。本工作中,我们提出X-METRA-ADA,一种面向NLU的跨语言MEta-TRAnsfer学习ADAptation(元迁移学习适配)方法。我们的方法改编自MAML这一基于优化的元学习方法来学会适配新语言。我们在两项具有挑战性的跨语言NLU任务上广泛评估了我们的框架:多语言面向任务对话与类型学多样问答。我们表明,我们的方法优于朴素微调,并在两项任务的大多数语言上达到有竞争力的性能。我们的分析揭示,X-METRA-ADA能够利用有限数据实现更快适配。
引用
@article{arxiv.2104.09696,
title = {X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering},
author = {Meryem M'hamdi and Doo Soon Kim and Franck Dernoncourt and Trung Bui and Xiang Ren and Jonathan May},
journal= {arXiv preprint arXiv:2104.09696},
year = {2021}
}
备注
Accepted at NAACL 2021