中文

基于不精确 ADMM 的差分隐私联邦学习

机器学习 2021-10-08 v2

摘要

差分隐私(DP)技术可应用于联邦学习模型,以保护学习智能体间通信免受推断攻击的数据隐私。然而,DP 技术在确保强数据隐私的同时阻碍了获得更好的学习性能。本文提出了一种 DP 不精确交替方向乘子法算法,该算法求解一系列子问题,并通过由拉普拉斯分布生成的随机噪声进行目标扰动。我们证明了我们的算法在每次迭代中提供 ϵˉ\bar{\epsilon}-DP,其中 ϵˉ\bar{\epsilon} 是由用户控制的隐私参数。使用 MNIST 和 FEMNIST 数据集进行图像分类,我们证明与现有 DP 算法相比,我们的算法在相同数据隐私水平下将测试误差最多降低 22%22\%。数值实验还表明,我们的算法比现有算法收敛更快。

关键词

引用

@article{arxiv.2106.06127,
  title  = {Differentially Private Federated Learning via Inexact ADMM},
  author = {Minseok Ryu and Kibaek Kim},
  journal= {arXiv preprint arXiv:2106.06127},
  year   = {2021}
}

备注

20 pages, 6 figures