带流形正则化与归一化更新再聚合的联邦学习
机器学习
2023-11-13 v1
摘要
联邦学习（FL）是一种新兴的协作机器学习框架，多个客户端在不共享自身数据集的情况下训练全局模型。在 FL 中，客户端间本地数据异构所导致的模型不一致造成客户端更新近乎正交，进而引起全局更新范数缩减并减缓收敛。以往多数工作聚焦于消除本地与全局模型间参数（或梯度）的差异，但因机器学习模型结构复杂且欧氏空间在有意义几何表示上的局限，此类方法可能未能反映模型不一致。本文提出 FedMRUR，采用流形模型融合方案与一种新的全局优化器来缓解负面影响。具体地，FedMRUR 采用双曲图流形正则化器，强制本地与全局模型中数据表示在低位子空间中彼此接近。由于机器学习模型具有图结构，双曲空间中的距离比欧氏距离更能反映模型偏置。由此，FedMRUR 利用表示的流形结构显著减少模型不一致。FedMRUR 还将客户端更新范数聚合为全局更新范数，可适度放大各客户端对全局更新的贡献，从而缓解客户端更新近正交带来的范数缩减。此外，我们从理论上证明，在部分客户端参与的非凸设定下，算法可取得线性加速性质。实验表明，FedMRUR 能以更少通信取得新的最先进（SOTA）精度。
引用
@article{arxiv.2311.05924,
title = {Federated Learning with Manifold Regularization and Normalized Update Reaggregation},
author = {Xuming An and Li Shen and Han Hu and Yong Luo},
journal= {arXiv preprint arXiv:2311.05924},
year = {2023}
}