中文

DPBalance:面向联邦学习的高效公平隐私预算调度机制

分布式、并行与集群计算 2024-02-16 v1 密码学与安全 机器学习

摘要

联邦学习(Federated Learning, FL)作为一种无需聚合原始数据即可实现协作模型训练的分布式机器学习方案,日益受到关注。云服务提供商进一步采用联邦学习即服务(Federated Learning as a Service, FLaaS),允许数据分析师在受差分隐私保护的数据上执行其FL训练管道。由于差分隐私的内在属性,强加于数据块的隐私水平可视为需要精细调度以满足不同训练管道需求的隐私预算。现有隐私预算调度研究要么关注效率,要么关注公平性。本文提出DPBalance,一种新的隐私预算调度机制,同时优化效率和公平性。我们首先开发了综合效用函数,纳入数据分析师级别的主导份额和FL特定的性能指标。随后设计了基于拉格朗日乘子法和有效贪心启发式方法的顺序分配机制。我们理论证明DPBalance满足Pareto最优、共享激励、无 envy(不嫉妒)和弱策略证明。我们还理论证明了隐私预算中存在公平性与效率之间的权衡。大量实验表明,DPBalance超越了当前最先进的解决方案,在效率上平均提升1.44×3.49×1.44\times \sim 3.49 \times,在公平性上平均提升1.37×24.32×1.37\times \sim 24.32 \times

关键词

引用

@article{arxiv.2402.09715,
  title  = {DPBalance: Efficient and Fair Privacy Budget Scheduling for Federated Learning as a Service},
  author = {Yu Liu and Zibo Wang and Yifei Zhu and Chen Chen},
  journal= {arXiv preprint arXiv:2402.09715},
  year   = {2024}
}

备注

Accepted by IEEE International Conference on Computer Communications (INFOCOM '24)