面向自然语言理解的跨语言模型无关元学习适配
计算与语言
2021-11-11 v1
摘要
利用辅助语言的元学习已展现出对跨语言自然语言处理的有前景改进。然而，先前研究从同一语言中采样元训练与元测试数据，这限制了模型的跨语言迁移能力。在本文中，我们提出 XLA-MAML，其在元学习阶段执行直接的跨语言适配。我们在自然语言推理与问答上进行了零样本与少样本实验。实验结果证明了我们的方法在不同语言、任务与预训练模型上的有效性。我们还对元学习的多种跨语言特定设置（包括采样策略与并行性）给出了分析。
引用
@article{arxiv.2111.05805,
title = {Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding},
author = {Qianying Liu and Fei Cheng and Sadao Kurohashi},
journal= {arXiv preprint arXiv:2111.05805},
year = {2021}
}
备注
11 pages