关于多语言原型模型跨 NLU 任务的跨语言可迁移性
计算与语言
2022-07-20 v1
摘要
基于监督深度学习的方法已应用于任务型对话,并已被证明在领域和语言应用受限且拥有足够训练样本时有效。在实践中,这些方法受制于领域驱动设计和资源匮乏语言的缺陷。领域和语言模型应随着问题空间的演化而增长和变化。一方面,迁移学习的研究已证明多语言基于 Transformer 的模型学习语义丰富表示的跨语言能力。另一方面,除上述方法外,元学习使得能够开发具有远泛化能力的任务和语言学习算法。在此背景下,本文提出研究协同使用少样本学习与原型神经网络和多语言基于 Transformer 的模型的跨语言可迁移性。在 MultiATIS++ 语料库上的自然语言理解任务实验表明,我们的方法显著改善了低资源与高资源语言之间观测到的迁移学习性能。更一般地,我们的方法确认在给定语言中学到的有意义的潜在空间可使用元学习推广到未见过的和资源匮乏的语言。
引用
@article{arxiv.2207.09157,
title = {On the cross-lingual transferability of multilingual prototypical models across NLU tasks},
author = {Oralie Cattan and Christophe Servan and Sophie Rosset},
journal= {arXiv preprint arXiv:2207.09157},
year = {2022}
}
备注
Accepted to the ACL workshop METANLP 2021