基于平均裁剪的重尾数据高效私有随机凸优化
机器学习
2024-09-11 v4 最优化与控制
摘要
我们考虑具有差分隐私（DP）保证的重尾数据随机凸优化。大多数关于重尾数据差分私有随机凸优化的先前工作要么局限于梯度下降（GD），要么对随机梯度下降（SGD）执行多次裁剪，这对于大规模问题效率低下。在本文中，我们考虑一次性裁剪策略，并为其偏差和私有均值估计提供原则性分析。我们针对所提的称为 AClipped-dpSGD 的算法，为约束和无约束凸问题建立了新的收敛结果和改进的复杂度界。我们还将收敛分析扩展到强凸情形和非光滑情形（适用于具有 Hlder 连续梯度的广义光滑目标）。上述所有结果对重尾数据均以高概率保证。数值实验用于验证理论改进。
引用
@article{arxiv.2206.13011,
title = {Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping},
author = {Chenhan Jin and Kaiwen Zhou and Bo Han and James Cheng and Tieyong Zeng},
journal= {arXiv preprint arXiv:2206.13011},
year = {2024}
}