通过加法与低秩分解在联邦学习中解耦通用与个人化知识
机器学习
2024-10-14 v2 人工智能
摘要
为解决数据异构性问题，个人化联邦学习 (PFL) 的关键策略是解耦通用知识（在各客户端之间共享）和客户端特定知识，因为后者如果未被移除可能对协作产生负面影响。现有的 PFL 方法主要采用参数分区方法，将模型的参数指定为两种类型之一：用于从其他客户端提取通用知识的参数，以及保留在本地以学习客户端特定知识的参数。然而，由于这两种类型参数在训练过程中像拼图一样被整合到单个模型中，每个参数可能同时吸收通用和客户端特定知识，从而难以有效分离这两种类型的知识。本文引入 FedDecomp，一种简单而有效的 PFL 范式，采用参数加法分解来解决此问题。与将每个模型参数指定为共享或个人化参数不同，FedDecomp 将每个参数分解为两个参数之和：一个共享参数和一个个人化参数，从而实现了对共享与个人化知识的更彻底的解耦。此外，由于我们发现保留特定客户端的本地知识所需的模型容量远小于跨所有客户端的通用知识，我们在训练过程中使包含个人化参数的矩阵低秩。进一步，提出了一种新的交替训练策略以进一步提高性能。跨多个数据集和不同程度数据异构性的实验结果表明，FedDecomp 相对于最先进的方法高出最高 4.9%。代码可在 https://github.com/XinghaoWu/FedDecomp 获取。
引用
@article{arxiv.2406.19931,
title = {Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition},
author = {Xinghao Wu and Xuefeng Liu and Jianwei Niu and Haolin Wang and Shaojie Tang and Guogang Zhu and Hao Su},
journal= {arXiv preprint arXiv:2406.19931},
year = {2024}
}
备注
Accepted by ACM MM 2024