基于目标语言就绪任务适配器的跨语言迁移
计算与语言
2023-06-06 v1
摘要
适配器已成为一种模块化且参数高效的（零样本）跨语言迁移方法。成熟的MAD-X框架采用独立的语言适配器与任务适配器，可任意组合以将任意任务迁移至任意目标语言。随后，MAD-X框架的扩展BAD-X以牺牲MAD-X的模块化特性为代价，通过创建特定于源-目标语言对的“双语”适配器实现了改进的迁移。本工作中，我们旨在取两者之长：（i）微调适配于目标语言的任务适配器（即所谓的“目标语言就绪”（TLR）适配器）以维持高迁移性能，但（ii）不牺牲MAD-X高度模块化的设计。‘目标语言就绪’适配器的核心思想是解决MAD-X的训练-推理不一致：任务适配器在推理时才首次“见到”目标语言适配器，因此可能与其不完全兼容。我们通过训练期间将任务适配器暴露于目标语言适配器下来解决此不匹配，并实证验证了该思想的若干变体：最简单的形式中，我们在任务适配器训练期间交替使用源语言与目标语言适配器，并可推广至在任意语言适配器集合上循环。我们在一系列标准跨语言基准上评估了具有不同通用程度的TLR迁移配置，发现最具通用性（因而最模块化）的配置在大多数任务与语言上持续优于MAD-X与BAD-X。
引用
@article{arxiv.2306.02767,
title = {Cross-Lingual Transfer with Target Language-Ready Task Adapters},
author = {Marinela Parović and Alan Ansell and Ivan Vulić and Anna Korhonen},
journal= {arXiv preprint arXiv:2306.02767},
year = {2023}
}
备注
Accepted to Findings of ACL 2023