基于双动量和误差反馈的裁剪快速收敛与差分隐私
机器学习
2026-03-06 v2 最优化与控制
机器学习
摘要
强差分隐私（DP）和优化保证是联邦学习（FL）中理想方法的两个 desirable 属性。然而，现有算法一次也未能实现这两个属性：它们要么具有最优的DP保证但依赖于受限假设，如有界梯度/有界数据异质性，要么确保强优化性能但缺乏DP保证。为解决文献中的这一差距，我们提出并分析了一种新方法，称为基于裁剪、重量摆动和误差反馈的Clip21-SGD2M。特别地，对于具有任意数据异质性的非凸光滑分布问题，我们证明Clip21-SGD2M具有最优收敛率，同时也具备近最优（局部）DP邻域。我们的数值实验在非凸逻辑回归和神经网络训练方面突显了Clip21-SGD2M相对于基线方法的优势，尤其在给定DP预算的情况下表现出优化性能。
引用
@article{arxiv.2502.11682,
title = {Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy},
author = {Rustem Islamov and Samuel Horvath and Aurelien Lucchi and Peter Richtarik and Eduard Gorbunov},
journal= {arXiv preprint arXiv:2502.11682},
year = {2026}
}