过参数化平滑凸优化中DP-SGD的维数无关泛化
机器学习
2022-06-07 v1 最优化与控制
摘要
本文考虑差分隐私凸学习的泛化性能。我们证明朗之万算法的收敛性分析可用于为DP-SGD获得具有差分隐私保证的新泛化界。更具体地，利用近期得到的带凸目标函数的随机朗之万算法的维数无关收敛结果，我们对DP-SGD获得了的隐私保证，其最优过剩泛化误差为，适用于某类过参数化平滑凸优化问题。这改进了此前此类问题中含显式维数依赖的DP-SGD结果，使所得泛化界不再不适用于实际应用的过参数化模型。
引用
@article{arxiv.2206.01836,
title = {Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization},
author = {Yi-An Ma and Teodor Vanislavov Marinov and Tong Zhang},
journal= {arXiv preprint arXiv:2206.01836},
year = {2022}
}