FedRepOpt：联邦学习中的梯度重参数化优化器
机器学习
2024-10-11 v4 计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习 (FL) 已成为一种在边缘设备上以分布式方式训练机器学习模型的隐私保护方法。然而，设备端模型面临固有的计算能力和内存限制，可能导致梯度更新受限。随着模型规模增大，边缘设备上的梯度更新频率降低，最终导致在任意特定 FL 轮次中训练效果欠佳。这限制了在边缘设备上部署先进大规模模型的可行性，阻碍了性能提升的潜力。为解决此问题，我们提出了 FedRepOpt，一种用于联邦学习的梯度重参数化优化器。梯度重参数化方法允许通过根据从复杂模型获得的一组特定于模型的超参数来修改优化器的梯度，从而训练一个性能与复杂模型相似的简单局部模型。在本工作中，我们重点关注 FL 环境下的 VGG 风格和 Ghost 风格模型。大量实验表明，使用 FedRepOpt 的模型相较于 RepGhost 风格和 RepVGG 风格网络，性能分别显著提升了 16.7% 和 11.4%，同时收敛时间也分别加快了 11.7% 和 57.4%。
引用
@article{arxiv.2409.15898,
title = {FedRepOpt: Gradient Re-parametrized Optimizers in Federated Learning},
author = {Kin Wai Lau and Yasar Abbas Ur Rehman and Pedro Porto Buarque de Gusmão and Lai-Man Po and Lan Ma and Yuyang Xie},
journal= {arXiv preprint arXiv:2409.15898},
year = {2024}
}
备注
Accepted by ACCV 2024