基于多局部更新不精确 ADMM 的差分隐私联邦学习
机器学习
2022-02-22 v1
摘要
差分隐私（DP）技术可应用于联邦学习模型，以从统计上保证针对学习智能体间通信的推断攻击的数据隐私。然而，在确保强数据隐私的同时，DP 技术阻碍了取得更好的学习性能。本文提出了一种用于联邦学习的带多局部更新的 DP 不精确交替方向乘子法算法，其中通过拉普拉斯分布生成的随机噪声进行目标扰动来求解一系列凸子问题。我们证明该算法在每次迭代均提供 -DP，其中 是由用户控制的隐私预算。我们还给出了所提算法的收敛性分析。使用 MNIST 和 FEMNIST 数据集进行图像分类，我们证明在相同数据隐私水平下，与现有 DP 算法相比，我们的算法将测试误差最多降低 。数值实验还表明我们的算法比现有算法收敛更快。
引用
@article{arxiv.2202.09409,
title = {Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates},
author = {Minseok Ryu and Kibaek Kim},
journal= {arXiv preprint arXiv:2202.09409},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2106.06127