DP-ADMM：基于ADMM的带差分隐私分布式学习
机器学习
2020-05-19 v6 机器学习
摘要
交替方向乘子法（ADMM）是分布式环境下机器学习广泛使用的工具，其中机器学习模型通过局部计算和消息传递的交互过程在分布式数据源上训练。这种迭代过程可能引起数据所有者的隐私担忧。本文的目标是为基于ADMM的分布式机器学习提供差分隐私。先前关于差分隐私ADMM的方法在高隐私保证下效用较低，且常假设学习问题的目标函数光滑且强凸。为解决这些问题，我们提出一种新颖的基于差分隐私ADMM的分布式学习算法称为DP-ADMM，其在迭代过程中将近似增广拉格朗日函数与随时间变化的高斯噪声添加相结合，以在相同差分隐私保证下对一般目标函数实现更高效用。我们还应用矩会计（moments accountant）方法来界定端到端隐私损失。理论分析表明，DP-ADMM可应用于更广泛的分布式学习问题，可证明收敛，并提供显式的效用-隐私权衡。据我们所知，这是首篇为基于差分隐私ADMM的分布式学习算法提供显式收敛和效用性质的论文。评估结果证明，我们的方法在高端到端差分隐私保证下可实现良好的收敛性和模型精度。
引用
@article{arxiv.1808.10101,
title = {DP-ADMM: ADMM-based Distributed Learning with Differential Privacy},
author = {Zonghao Huang and Rui Hu and Yuanxiong Guo and Eric Chan-Tin and Yanmin Gong},
journal= {arXiv preprint arXiv:1808.10101},
year = {2020}
}
备注
Accepted for publication in IEEE Transactions on Information Forensics and Security (TIFS)