从含噪不动点迭代到面向集中式与联邦学习的隐私保护 ADMM
机器学习
2023-07-13 v3 密码学与安全
分布式、并行与集群计算
摘要
我们将差分隐私（DP）机器学习算法研究为含噪不动点迭代的实例，以便从这一被广泛研究的框架中导出隐私与效用结果。我们表明这一新视角可恢复如 DP-SGD 等流行的基于梯度的隐私方法，并提供了一种原则性的方式来灵活设计与分析新的隐私优化算法。聚焦于广泛使用的交替方向乘子法（ADMM），我们利用通用框架推导了面向集中式、联邦式与完全去中心化学习的新型隐私 ADMM 算法。对于这三种算法，我们利用迭代与子采样带来的隐私放大确立了强隐私保证。最后，我们借助近期关于含噪不动点迭代线性收敛的结果，通过统一分析提供了效用保证。
引用
@article{arxiv.2302.12559,
title = {From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning},
author = {Edwige Cyffers and Aurélien Bellet and Debabrota Basu},
journal= {arXiv preprint arXiv:2302.12559},
year = {2023}
}
备注
Accepted to ICML 2023. v3: added references to the first papers that introduced block-wise fixed-point iterations (Iutzeler et al., 2013; Bianchi et al., 2016)