无信任服务器下的私有异构型联邦学习再思考：面向凸损失函数的最优误差与通信效率算法
机器学习
2024-09-10 v3 密码学与安全
最优化与控制
摘要
我们重新审视了联邦学习（FL）中来自不信任服务器或其他数据 silo（数据碎片）的人的私有数据的问题。在此情境下，每个 silo（如医院）拥有来自多个人（如患者）的数据，需要保护每个人的隐私，即使服务器和/或其他 silo 试图窃取此数据。Inter-Silo Record-Level Differential Privacy（ISRL-DP）通过要求每个 silo 的通信满足项目级差分隐私来防止数据泄露。先前的工作（arXiv:2106.09779）针对具有齐次（独立同分布）silo 数据和凸损失函数的 ISRL-DP 算法 characterize 了最优的剩余风险界限。然而，仍有两个重要问题未被解答：（1）在具有异构（非独立同分布）silo 数据的情况下，是否可以实现相同的剩余风险界限？（2）是否可以在更少的通信轮数下实现最优风险界限？本文我们给出了肯定的回答。我们提供了新的 ISRL-DP 联邦学习算法，在异构 silo 数据环境下实现最优的剩余风险界限。此外，我们的算法比先前的最先进方法更具通信效率。对于光滑损失函数，本算法实现了最优的剩余风险界限，并具备与非私有下界相匹配的通信复杂度。此外，我们的算法比以前的状态更具计算效率。
引用
@article{arxiv.2407.09690,
title = {Private Heterogeneous Federated Learning Without a Trusted Server Revisited: Error-Optimal and Communication-Efficient Algorithms for Convex Losses},
author = {Changyu Gao and Andrew Lowy and Xingyu Zhou and Stephen J. Wright},
journal= {arXiv preprint arXiv:2407.09690},
year = {2024}
}
备注
The 41st International Conference on Machine Learning (ICML 2024)