噪声就是你需要的：无噪声 SGD 的私有二阶收敛
机器学习
2024-10-10 v1
摘要
私有优化是机器学习中备受关注的议题，差分隐私随机梯度下降（DP-SGD）在理论与实践中扮演关键角色。此外，DP-SGD 作为一种强大的工具，已被用于鲁棒性、机器遗忘等场景。现有 DP-SGD 分析要么假设较强条件（如损失函数的 Lipschitz 连续性，甚至是凸性），要么仅证明一阶收敛（在非凸情形下可能停留在鞍点）。同时，针对非私有版本“噪声 SGD”已有二阶收敛结果，以及更复杂且可保证二阶收敛的算法。我们重新审视 DP-SGD，表明“噪声就是你需要的”：为保证隐私所需的噪声，即可在标准光滑性假设下实现二阶收敛，即使损失函数非 Lipschitz。因此，我们几乎免费获得二阶收敛：DP-SGD 这一现代私有优化之主，在最小假设下即可用于寻找二阶静止点。
引用
@article{arxiv.2410.06878,
title = {Noise is All You Need: Private Second-Order Convergence of Noisy SGD},
author = {Dmitrii Avdiukhin and Michael Dinitz and Chenglin Fan and Grigory Yaroslavtsev},
journal= {arXiv preprint arXiv:2410.06878},
year = {2024}
}
备注
30 pages