联邦学习中的模型更新回收：梯度子空间是低秩的吗？
机器学习
2022-02-02 v1 机器学习
摘要
在本文中，我们质疑在联邦学习过程中通过分布式系统传播大量参数的合理性。我们首先考察集中式模型训练中跨轮次的梯度所张成的子空间（即梯度空间）的秩特性，观察到该梯度空间通常由少数主导主成分构成，解释了绝大部分（95-99%）的方差。受此启发，我们提出“回望梯度乘子”（Look-back Gradient Multiplier, LBGM）算法，该算法利用此低秩特性在联邦学习的模型更新轮次间实现梯度回收，将大参数的传输缩减为用于聚合的单个标量。我们分析刻画了LBGM的收敛行为，揭示了通信节省与模型性能之间权衡的本质。我们随后的实验结果表明，在多个数据集与深度学习模型上，LBGM相较于常规联邦学习在通信开销方面有所改善。此外，我们表明LBGM是一种通用的即插即用算法，可单独使用或叠加于现有的分布式模型训练稀疏化技术之上。
引用
@article{arxiv.2202.00280,
title = {Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank?},
author = {Sheikh Shams Azam and Seyyedali Hosseinalipour and Qiang Qiu and Christopher Brinton},
journal= {arXiv preprint arXiv:2202.00280},
year = {2022}
}
备注
In Proceedings of the 10th International Conference on Learning Representations (ICLR) 2022