通过流形混合增强跨语言迁移
计算与语言
2022-05-10 v1 人工智能
摘要
基于大规模预训练多语言表示，近期的跨语言迁移方法已取得了令人印象深刻的迁移性能。然而，目标语言的表现仍远落后于源语言。本文中，我们的分析表明此种性能差距与跨语言表示差异密切相关。为获得更好的跨语言迁移性能，我们提出跨语言流形混合（X-Mixup）方法，其自适应地校准表示差异并为目标语言给出折中的表示。在XTREME基准上的实验表明，与强基线相比，X-Mixup在多个文本理解任务上取得了1.8%的性能提升，并显著减小了跨语言表示差异。
引用
@article{arxiv.2205.04182,
title = {Enhancing Cross-lingual Transfer by Manifold Mixup},
author = {Huiyun Yang and Huadong Chen and Hao Zhou and Lei Li},
journal= {arXiv preprint arXiv:2205.04182},
year = {2022}
}
备注
Accepted to ICLR2022