AdaMergeX：通过自适应适配器合并实现大语言模型的跨语言迁移
计算与语言
2024-03-01 v1 人工智能
摘要
作为在特定语言中对目标任务进行直接微调的有效替代方案，跨语言迁移通过分别在源语言的目标任务和目标语言的选定任务上进行微调，将“任务能力”和“语言能力”解耦，从而应对训练数据有限的挑战。然而，它们未能完全将任务能力与源语言分离，或将语言能力与所选任务分离。在本文中，我们承认任务能力与语言能力之间的相互依赖关系，并将注意力转向目标任务上目标语言与源语言之间的差距。由于该差距消除了任务的影响，我们假设它跨任务保持一致。基于这一假设，我们提出了一种新的跨语言迁移方法，称为，它利用自适应适配器合并。通过引入一个参考任务，我们可以确定在参考任务上微调的适配器在两种语言中的差异与在目标任务上微调的适配器在两种语言中的差异遵循相同的分布。因此，我们可以通过组合其他三个适配器来获得目标适配器。此外，我们提出了一种结构自适应的适配器合并方法。我们的实证结果表明，我们的方法产生了新的有效的跨语言迁移，在所有设置下均优于现有方法。
引用
@article{arxiv.2402.18913,
title = {AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging},
author = {Yiran Zhao and Wenxuan Zhang and Huiming Wang and Kenji Kawaguchi and Lidong Bing},
journal= {arXiv preprint arXiv:2402.18913},
year = {2024}
}