隐私保护分布式零阶优化
信号处理
2020-09-01 v1
摘要
我们开发了一种隐私保护的分布式算法，用于在一阶信息不可用且数据分布于多智能体网络上的情况下最小化正则化经验风险函数。我们采用零阶方法，利用交替方向乘子法（ADMM）在原始域中最小化相应的增广拉格朗日函数。我们表明，所提出的名为分布式零阶 ADMM（D-ZOA）的算法具有内在的隐私保护特性。与现有基于 ADMM 的通过向原始或对偶变量添加噪声扰动的隐私保护方法不同，使用零阶方法所固有的随机性赋予了 D-ZOA 内在的差分隐私。通过分析原始变量的扰动，我们证明了所提出的 D-ZOA 算法的隐私泄漏是有界的。此外，我们采用矩会计（moments accountant）方法表明总隐私泄漏随 ADMM 迭代次数亚线性增长。D-ZOA 在精度上优于现有的差分隐私方法，同时提供相同的隐私保证。我们证明 D-ZOA 以 的速率收敛到最优解，其中 为 ADMM 迭代次数。收敛分析还揭示了一个在实践中重要的隐私与精度之间的权衡。仿真结果验证了 D-ZOA 理想的隐私保护特性、其相对于最先进算法的优越性，以及其在全网范围内收敛到最优解。
引用
@article{arxiv.2008.13468,
title = {Privacy-Preserving Distributed Zeroth-Order Optimization},
author = {C. Gratton and N. K. D. Venkategowda and R. Arablouei and S. Werner},
journal= {arXiv preprint arXiv:2008.13468},
year = {2020}
}