基于适配器混合的协同高效个性化学习
机器学习
2025-03-11 v2
摘要
异构数据在实际的联邦学习中广泛存在。我们提出了一种参数高效框架——联邦低秩自适应学习 (FLoRAL)，该框架允许客户端通过混合低秩适配器进行分组个性化，其中混合方式为客户端特定。FLoRAL 是一种模型参数化方法，将个性化联邦学习作为多任务学习问题进行建模，通过共享权重实现隐式正则化。该方法具有很好的内存效率，因为个性化参数（即基础模型+适配器）均通过联邦方式进行聚合。我们的实验结果表明，FLoRAL 在数据稀缺时能比全模型混合更好地泛化；在每个客户端都有本地调优适配器的模型基础上，FLoRAL 能持续实现更好的个性化效果。这展示了“联邦个性化”的优势及其对抗过拟合的鲁棒性。我们推导了收敛率，理论上证明了FLoRAL 能降低基础模型梯度的方差。
引用
@article{arxiv.2410.03497,
title = {Collaborative and Efficient Personalization with Mixtures of Adaptors},
author = {Abdulla Jasem Almansoori and Samuel Horváth and Martin Takáč},
journal= {arXiv preprint arXiv:2410.03497},
year = {2025}
}
备注
37 pages, 11 figures. Accepted to CPAL 2025