联邦学习中的主体粒度差分隐私
机器学习
2023-06-16 v2 密码学与安全
摘要
本文考虑联邦学习（FL）设定下的主体级隐私，其中主体是指其私有信息由若干数据项体现的个体，这些数据项或局限于单一联邦用户内，或分布于多个联邦用户之间。我们提出两种在每位联邦用户本地强制执行主体级 DP 的新算法。我们的第一种算法称为 LocalGroupDP，是群体差分隐私在流行的 DP-SGD 算法中的直接应用。我们的第二种算法基于一种新颖的分层梯度平均（HiGradAvgDP）思想，用于参与训练小批量的主体。我们还表明，用户级本地差分隐私（LDP）天然保证主体级 DP。我们观察到 FL 中主体级隐私损失的水平组合问题——各用户处产生的主体级隐私损失跨联邦组合。我们形式化证明了我们算法的主体级 DP 保证，并展示了它们对模型效用损失的影响。我们在 FEMNIST 与 Shakespeare 数据集上的实证评估表明，LocalGroupDP 在我们的算法中表现最佳。然而，其模型效用落后于使用基于 DP-SGD 的、提供较弱项级隐私保证的算法所训练的模型。由主体采样比例与水平组合引起的隐私损失放大仍是模型效用的关键挑战。
引用
@article{arxiv.2206.03617,
title = {Subject Granular Differential Privacy in Federated Learning},
author = {Virendra J. Marathe and Pallika Kanani and Daniel W. Peterson and Guy Steele},
journal= {arXiv preprint arXiv:2206.03617},
year = {2023}
}