约束多目标联邦学习中隐私、效用与效率的优化
机器学习
2023-05-10 v4
摘要
传统上，联邦学习旨在优化单一目标，通常是效用。然而，一个联邦学习系统要值得信赖，需要同时满足多个目标，例如最大化模型性能、最小化隐私泄露和训练成本，以及对恶意攻击具有鲁棒性。旨在同时优化多个冲突目标的多目标优化（MOO）非常适合于解决可信联邦学习（TFL）的优化问题。在本文中，我们通过构建约束多目标联邦学习（CMOFL）问题统一了 MOO 和 TFL。在此表述下，现有 MOO 算法可直接适配于 TFL。与现有 CMOFL 工作关注效用、效率、公平性和鲁棒性不同，我们考虑优化隐私泄露以及效用损失和训练成本，即 TFL 系统的三个主要目标。我们基于 NSGA-II 和 PSL 分别开发了两种改进的 CMOFL 算法，以有效且高效地寻找帕累托最优解，并提供了它们收敛性的理论分析。我们针对三种隐私保护机制：随机化、BatchCrypt（同态加密的高效版本）和稀疏化，设计了隐私泄露、效用损失和训练成本的特定度量。在三种保护机制各自下进行的实证实验证明了我们所提算法的有效性。
引用
@article{arxiv.2305.00312,
title = {Optimizing Privacy, Utility and Efficiency in Constrained Multi-Objective Federated Learning},
author = {Yan Kang and Hanlin Gu and Xingxing Tang and Yuanqin He and Yuzhu Zhang and Jinnan He and Yuxing Han and Lixin Fan and Kai Chen and Qiang Yang},
journal= {arXiv preprint arXiv:2305.00312},
year = {2023}
}
备注
Fix some typos and add theoretical analysis on the convergence of the proposed algorithms