通过联邦-本地模型合并实现通信高效的个性化适应
机器学习
2026-02-24 v1
摘要
参数高效微调方法，如 LoRA，为适应客户端任务中的大型视觉和语言模型提供了实用方案。然而，在联邦部署中的任务级异构性场景下，这一方法变得尤为具有挑战性。在此 regime 下，个性化需要在通用知识与个性化知识之间进行平衡，而现有方法大多依赖启发式混合规则，缺乏理论依据。此外，先前的模型合并方法也 computation 和 communication 密集，使得在联邦设置中过程效率低下。本文提出了 Potara，一个原则化的联邦个性化框架，通过合并两种互补模型为每个客户端构建个性化模型：(i) 捕获通用知识的联邦模型，和 (ii) 捕获个性化知识的本地模型。通过线性模式连接的构造，我们展示了预期任务损失 admits 一个方差迹上界，其最小化将产生闭形式的最优混合权重，保证合并模型优于联邦模型或本地模型中的任何一个。在视觉和语言基准测试中的实验表明，Potara 在保持强大的 performance-communication trade-off 的同时，持续改进个性化效果，同时减少通信需求。
引用
@article{arxiv.2602.18658,
title = {Communication-Efficient Personalized Adaptation via Federated-Local Model Merging},
author = {Yinan Zou and Md Kamran Chowdhury Shisher and Christopher G. Brinton and Vishrant Tripathi},
journal= {arXiv preprint arXiv:2602.18658},
year = {2026}
}