MAD-X：一种基于适配器的多任务跨语言迁移框架
计算与语言
2020-10-07 v3
摘要
多语言 BERT 和 XLM-R 等最先进的预训练多语言模型背后的主要目标，是通过零样本或少样本跨语言迁移，赋能并引导低资源语言中的 NLP 应用。然而，由于模型容量有限，它们恰恰在这些低资源语言和预训练期间未见过语言上的迁移性能最弱。我们提出 MAD-X，一种基于适配器的框架，通过学习模块化的语言和任务表示，实现对任意任务和语言的高可移植性与参数高效迁移。此外，我们引入了一种新颖的可逆适配器架构，以及一种将预训练多语言模型适配到新语言的强基线方法。MAD-X 在命名实体识别和因果常识推理上，针对一组具有代表性的、类型学上多样的语言，超越了跨语言迁移的当前最优水平，并在问答上取得了有竞争力的结果。我们的代码和适配器可在 AdapterHub.ml 获取。
引用
@article{arxiv.2005.00052,
title = {MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer},
author = {Jonas Pfeiffer and Ivan Vulić and Iryna Gurevych and Sebastian Ruder},
journal= {arXiv preprint arXiv:2005.00052},
year = {2020}
}
备注
EMNLP 2020