差分隐私联邦学习中查询与回复次数的优化
机器学习
2021-07-06 v1 密码学与安全
分布式、并行与集群计算
摘要
联邦学习(FL)使分布式客户端能够通过交换参数信息协作训练共享机器学习模型。尽管FL可保护客户端原始数据，恶意用户仍可利用披露的参数破解原始数据。为修正此缺陷，将差分隐私(DP)引入FL客户端以扰动原始参数，但这会显著损害训练模型的精度。本工作中，我们研究一个被现有工作广泛忽视的关键问题：在带DP的FL中，为使最终模型精度最大化，查询与回复的最优次数各为多少。在FL中，参数服务器(PS)需查询参与客户端以完成多轮全局迭代训练。每个客户端通过执行一次本地迭代来响应PS的一个查询。我们的工作探究PS应查询客户端多少次以及每个客户端应回复PS多少次。我们考察两种最广泛使用的DP机制（即拉普拉斯机制与高斯机制）。通过收敛速率分析，我们可确定带DP的FL中查询与回复的最优次数，从而使最终模型精度最大化。最后，使用公开数据集MNIST与FEMNIST进行了大量实验以验证我们的分析，结果表明合理设置查询与回复次数可显著提升带DP的FL的最终模型精度。
引用
@article{arxiv.2107.01895,
title = {Optimizing the Numbers of Queries and Replies in Federated Learning with Differential Privacy},
author = {Yipeng Zhou and Xuezheng Liu and Yao Fu and Di Wu and Chao Li and Shui Yu},
journal= {arXiv preprint arXiv:2107.01895},
year = {2021}
}