捐赠者与接受者：基于参数高效微调的跨任务跨语言非对称迁移
计算与语言
2026-01-09 v2 人工智能
摘要
大型语言模型 (LLM) 在各类任务和语言上表现出强大的性能，但如何从一个任务或语言上的改进影响其他任务或语言仍不清楚。 我们对多个开源 LLM 家族进行了受控的 LoRA 微调研究，使用标准化的 11 种语言和 4 个基准测试网格。 我们对每个模型在单个任务-语言来源上的微调，并测量在所有其他任务-语言目标对上的迁移效果。 我们将迁移分解为三个 regime：(i) 匹配任务 (跨语言)，(ii) 匹配语言 (跨任务)，以及 (iii) 跨任务 (跨语言)。 单源微调在所有 regime 中均实现净正向提升，但收益strongly不对称。 匹配任务 (跨语言) 迁移最为有效且可预测，主要由目标语言的身份而非模型架构驱动。 我们识别出一个稳定的层级结构，其中高资源语言和宽泛语义任务充当高效的接收者，从而吸收来自多样来源的收益，而专门化任务和低资源语言则较为孤立。 这些结果表明，有效的微调需要导航捐赠者-接受者角色，以最大化下游收益。
引用
@article{arxiv.2511.13368,
title = {Donors and Recipients: On Asymmetric Transfer Across Tasks and Languages with Parameter-Efficient Fine-Tuning},
author = {Kajetan Dymkiewicz and Ivan Vulic and Helen Yannakoudakis and Eilam Shapira and Roi Reichart and Anna Korhonen},
journal= {arXiv preprint arXiv:2511.13368},
year = {2026}
}