零样本跨语言迁移中的正交语言与任务适配器
计算与语言
2020-12-14 v1
摘要
适配器模块是使预训练transformer高效微调的附加可训练参数，近期已被用于多语transformer的语言专门化，改善下游零样本跨语言迁移。本工作中，我们提出用于跨语言迁移的正交语言与任务适配器（称为orthoadapters）。它们被训练来编码与预训练transformer参数中已有知识互补（即正交）的语言与任务特定信息。我们的零样本跨语言迁移实验涉及三项任务（词性标注、命名实体识别、自然语言推理）及一组10种多样语言，1）指出了orthoadapters在跨语言迁移中的有用性，尤其对最复杂的NLI任务，但也2）表明最优适配器配置高度依赖于任务与目标语言。我们希望本工作能推动对预训练transformer语言与任务特定微调中正交约束有用性的更广泛研究。
引用
@article{arxiv.2012.06460,
title = {Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer},
author = {Marko Vidoni and Ivan Vulić and Goran Glavaš},
journal= {arXiv preprint arXiv:2012.06460},
year = {2020}
}