针对具有(强)凸目标函数 ADMM 的迭代隐私放大
机器学习
2023-12-15 v1 密码学与安全
最优化与控制
摘要
我们研究了一种用于(强)凸目标的私有 ADMM 变体，这是一种原始-对偶迭代方法。每次迭代中，拥有私有函数的用户用于更新原始变量，并通过高斯噪声掩蔽以实现局部隐私，而不直接向对偶变量添加噪声。迭代隐私放大探讨了在最后一次迭代后释放最终变量时，后续迭代的噪声是否能增强隐私保证。Cyffers 等人 [ICML 2023] 探讨了近端 ADMM 变体的迭代隐私放大，其中访问了用户的整个私有函数并向原始变量添加了噪声。相比之下，我们研究了一种仅需对用户函数进行一次梯度访问的私有 ADMM 变体，但原始变量和对偶变量都必须在连续迭代之间传递。为了将 Balle 等人 [NeurIPS 2019] 的耦合框架应用于梯度 ADMM 变体，我们用新颖的想法解决了技术挑战。首先，我们通过使用定制的范数解决了 ADMM 迭代中的非膨胀映射问题。其次，由于对偶变量没有直接用任何噪声掩蔽，它们的隐私保证是通过将两次连续的带噪 ADMM 迭代视为马尔可夫算子来实现的。我们的主要结果是，梯度 ADMM 变体的隐私保证可以与迭代次数成正比地放大。对于强凸目标函数，这种放大随迭代次数呈指数级增加。这些放大结果与之前研究的随机梯度下降的特例相一致。
引用
@article{arxiv.2312.08685,
title = {Privacy Amplification by Iteration for ADMM with (Strongly) Convex Objective Functions},
author = {T-H. Hubert Chan and Hao Xie and Mengshi Zhao},
journal= {arXiv preprint arXiv:2312.08685},
year = {2023}
}