面向高效联合持续微调的任务无关低秩残差适应
机器学习
2026-04-13 v2
摘要
联合参数高效微调（Fed-PEFT）使大预训练模型在联合学习设置下通过更新仅小子集参数来实现轻量级适应。然而，Fed-PEFT 方法通常假设固定的标签空间和静态的下游任务，这在现实应用场景中限制较大，其中客户端会持续遇到新的类别。 这导致一种新兴问题，即“联合持续微调”（FCFT）。在 FCFT 中，客户端在序列任务上进行联合微调，其中每个客户端在时间中观察到不相干的新类别集合，且在推理时不可用。 FCFT 具有挑战性，因为它同时受制于非 I.I.D. 客户端数据分布下的严重遗忘、参数增长和由任务相关推理模块引起的任务特定推理，以及跨异构客户端的聚合不一致。为解决这些挑战，我们提出了 Federated Task-agnostic Low-rank Residual Adaptation（Fed-TaLoRA），这是一种基于任务无关适应、后聚合模型校准和战略低秩适应放置的高效 FCFT 方法。Fed-TaLoRA 持续微调单个共享模块跨序列任务，以避免任务相关参数增长，并进一步引入基于理论的残差权重更新机制来校准聚合的全局模型并提高聚合保真度。我们对 Fed-TaLoRA 的收敛性和聚合行为进行了理论分析。大量实验在四个基准数据集上表明，Fed-TaLoRA 在强大的基线上持续优于，同时显著减少了通信和计算成本。
引用
@article{arxiv.2505.12318,
title = {Task-agnostic Low-rank Residual Adaptation for Efficient Federated Continual Fine-Tuning},
author = {Feng Yu and Jia Hu and Geyong Min},
journal= {arXiv preprint arXiv:2505.12318},
year = {2026}
}