带梯度裁剪与通信压缩的去中心化非凸优化的收敛性与隐私性
机器学习
2023-05-18 v1 最优化与控制
摘要
在去中心化机器学习中实现通信效率一直备受关注，通信压缩被公认为算法设计中的一项有效技术。本文首次尝试理解实践中常用的梯度裁剪策略在带通信压缩的去中心化非凸优化中的作用。我们提出 PORTER，其考虑了在取小批量随机梯度之前或之后添加的两种梯度裁剪变体，其中前一种变体 PORTER-DP 允许通过额外的高斯扰动进行本地差分隐私分析，后一种变体 PORTER-GC 有助于稳定训练。我们开发了一种新颖的分析框架，在不假设严苛的有界梯度条件下建立了它们的收敛保证。据我们所知，我们的工作提供了首个带梯度裁剪与通信压缩的去中心化非凸优化的收敛分析，揭示了收敛速率、压缩比、网络连通性与隐私之间的权衡。
引用
@article{arxiv.2305.09896,
title = {Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression},
author = {Boyue Li and Yuejie Chi},
journal= {arXiv preprint arXiv:2305.09896},
year = {2023}
}