基于增强跨语言监督的自然语言理解多语言表示学习
计算与语言
2021-06-10 v1
摘要
近来，多语言语言模型预训练在学习多语言表示（自然语言处理的关键课题）方面展现出巨大潜力。先前工作通常遵循TLM（Conneau and Lample, 2019），使用单一混合注意力（MA）模块，等效且同时地关注语内与跨语言上下文。本文中，我们提出一种名为分解注意力（DA）的网络以替代MA。DA由语内注意力（IA）与跨语言注意力（CA）组成，分别建模语内与跨语言监督。此外，我们在训练时引入语言自适应重加权策略以进一步提升模型性能。在各种跨语言自然语言理解（NLU）任务上的实验表明，所提架构与学习策略显著改善了模型的跨语言可迁移性。
引用
@article{arxiv.2106.05166,
title = {Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision},
author = {Yinpeng Guo and Liangyou Li and Xin Jiang and Qun Liu},
journal= {arXiv preprint arXiv:2106.05166},
year = {2021}
}