用于极小极大问题的差分隐私 SGDA
机器学习
2022-08-01 v4 密码学与安全
摘要
随机梯度下降上升（SGDA）及其变体一直是求解极小极大问题的主力方法。然而，与已被充分研究的带差分隐私（DP）约束的随机梯度下降（SGD）相比，理解带 DP 约束的 SGDA 的泛化（效用）的工作很少。本文中，我们利用算法稳定性方法在不同设定下建立 DP-SGDA 的泛化（效用）。具体而言，对于凸-凹设定，我们证明 DP-SGDA 在光滑与非光滑情形下就弱原始-对偶总体风险均可达到最优效用率。据我们所知，这是非光滑情形下 DP-SGDA 的首次已知结果。我们进一步给出了其在非凸-强凹设定下的效用分析，就原始总体风险而言这也是首次已知结果。该非凸设定下的收敛与泛化结果即便在非隐私设定下也是新的。最后，我们进行了数值实验以展示 DP-SGDA 在凸与非凸情形下的有效性。
引用
@article{arxiv.2201.09046,
title = {Differentially Private SGDA for Minimax Problems},
author = {Zhenhuan Yang and Shu Hu and Yunwen Lei and Kush R. Varshney and Siwei Lyu and Yiming Ying},
journal= {arXiv preprint arXiv:2201.09046},
year = {2022}
}
备注
To appear in UAI 2022