面向去中心化共识优化的隐私保护增量 ADMM
最优化与控制
2020-12-02 v1 分布式、并行与集群计算
摘要
乘子交替方向法（ADMM）近来被公认为大规模机器学习模型的一种有前景的优化器。然而，从通信代价角度研究 ADMM 的成果极少，尤其是与隐私保护联合考虑时，而这对分布式学习至关重要。我们通过求解去中心化网络上的共识优化问题，研究 ADMM 的通信效率与隐私保护。由于游走算法可降低通信负载，我们首先提出基于游走算法的增量 ADMM（I-ADMM），其更新顺序改为遵循哈密顿圈。然而，即便采用随机初始化，I-ADMM 也无法保证智能体对抗外部窃听者的隐私。为保护智能体隐私，我们进而提出两种隐私保护增量 ADMM 算法，即 PI-ADMM1 和 PI-ADMM2，分别采用步长与原始变量上的扰动。通过理论分析，我们证明了 PI-ADMM1 的收敛性与隐私保护性，并得到数值实验的进一步支持。此外，仿真表明所提 PI-ADMM1 与 PI-ADMM2 算法相比现有最优方法具有通信高效性。
引用
@article{arxiv.2003.10615,
title = {Privacy-preserving Incremental ADMM for Decentralized Consensus Optimization},
author = {Yu Ye and Hao Chen and Ming Xiao and Mikael Skoglund and H. Vincent Poor},
journal= {arXiv preprint arXiv:2003.10615},
year = {2020}
}