关于自适应裁剪的DP-SGD的收敛性
机器学习
2024-12-31 v1 密码学与安全
最优化与控制
机器学习
摘要
带梯度裁剪的随机梯度下降（SGD）是实现差分隐私优化的强大技术。尽管先前的工作广泛研究了固定阈值裁剪，但私有训练对阈值选择仍然高度敏感，而阈值调优可能代价高昂甚至不可行。这种敏感性促使了自适应方法的发展，例如分位数裁剪，这些方法在经验上取得了成功，但缺乏坚实的理论基础。本文首次提供了带分位数裁剪的SGD（QC-SGD）的全面收敛性分析。我们证明了QC-SGD存在与固定阈值裁剪SGD类似的偏差问题，但展示了如何通过精心设计的分位数和步长调度来缓解这一问题。我们的分析揭示了分位数选择、步长和收敛行为之间的关键关系，为参数选择提供了实用指南。我们将这些结果扩展到差分隐私优化，为DP-QC-SGD建立了首个理论保证。我们的发现为广泛使用的自适应裁剪启发式方法提供了理论基础，并指出了未来研究的开放途径。
引用
@article{arxiv.2412.19916,
title = {On the Convergence of DP-SGD with Adaptive Clipping},
author = {Egor Shulgin and Peter Richtárik},
journal= {arXiv preprint arXiv:2412.19916},
year = {2024}
}