融合全局与局部知识的个性化联邦学习
机器学习
2023-02-23 v1
摘要
个性化联邦学习作为联邦学习的一种变体，利用客户端异构分布的数据为其训练定制化模型。然而，如何设计能更好表征共享全局知识与个性化模式的个性化模型，目前仍无定论。为弥补这一不足，本文探索采用低秩与稀疏分解的个性化模型。具体而言，我们采用适当的正则化来提取低秩全局知识表征（GKR），从而将全局知识提炼为紧凑表示。随后，我们在所得 GKR 上引入稀疏分量，将个性化模式融合进全局知识。作为解决方案，我们提出一种名为基于混合稀疏与低秩表征的联邦学习（FedSLR）的两阶段近邻算法，以高效搜索混合模型。理论上，在适当假设下，我们证明 FedSLR 训练的 GKR 至少能次线性收敛至正则化问题的驻点，且所融合的稀疏分量在适当设置下可收敛至其驻点。大量实验也证明了 FedSLR 的优越经验性能。此外，FedSLR 减少了参数量并降低了下行通信复杂度，这些都是联邦学习算法所期望的特性。源代码见 \url{https://github.com/huangtiansheng/fedslr}。
引用
@article{arxiv.2302.11051,
title = {Fusion of Global and Local Knowledge for Personalized Federated Learning},
author = {Tiansheng Huang and Li Shen and Yan Sun and Weiwei Lin and Dacheng Tao},
journal= {arXiv preprint arXiv:2302.11051},
year = {2023}
}
备注
Accepted by TMLR