$z$-SignFedAvg：面向联邦学习的统一随机符号压缩方法
机器学习
2023-02-07 v1 机器学习
摘要
Federated Learning (FL) 是一种有前景的隐私保护分布式学习范式，但在训练大规模机器学习模型时面临高通信开销的问题。诸如 SignSGD \cite{bernstein2018signsgd} 等基于符号的方法已被提出作为降低通信开销的有偏梯度压缩技术。然而，基于符号的算法在异构数据下可能出现发散，这促使了误差反馈方法和随机符号压缩等先进技术的发展来解决该问题。尽管如此，这些方法仍存在收敛速度较慢的问题。此外，它们均不支持像 FedAvg \cite{mcmahan2017communication} 那样的多次本地 SGD 更新。本文提出了一种具有一般对称噪声分布的噪声扰动方案用于符号压缩，不仅能够灵活控制梯度偏差与收敛性能之间的权衡，还为现有的随机符号方法提供了统一视角。更重要的是，该统一的噪声扰动方案使得开发首个基于符号的 FedAvg 算法（-SignFedAvg）以加速收敛成为可能。理论上，我们证明了 -SignFedAvg 比现有的基于符号的方法具有更快的收敛速率，并且在均匀分布噪声下，能够达到与其未压缩对应方法相同的收敛速率。大量实验表明，-SignFedAvg 在真实数据集上取得了具有竞争力的经验性能，并优于现有方案。
引用
@article{arxiv.2302.02589,
title = {$z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning},
author = {Zhiwei Tang and Yanmeng Wang and Tsung-Hui Chang},
journal= {arXiv preprint arXiv:2302.02589},
year = {2023}
}