面向非凸非光滑问题的带模型稀疏化的隐私保护联邦原始对偶学习
机器学习
2024-04-04 v2
摘要
联邦学习（FL）已被公认为一个快速增长的研究领域，其中模型在参数服务器（PS）的协调下于大规模分布式客户端上训练，且不共享客户端数据。本文深入探讨一类以非凸非光滑损失函数为特征的联邦问题，这类问题在 FL 应用中十分普遍，但因复杂的非凸非光滑性质以及通信效率与隐私保护之间的冲突需求而难以处理。本文提出一种新颖的带双向模型稀疏化、面向非凸非光滑 FL 问题的联邦原始对偶算法，并采用差分隐私以提供隐私保障。我们还给出了其独特的深刻性质以及一些隐私与收敛性分析，作为 FL 算法设计准则。在真实数据上的大量实验表明，所提算法优于一些最先进（state-of-the-art）FL 算法，并验证了所有分析结果和性质。
引用
@article{arxiv.2310.19558,
title = {Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification},
author = {Yiwei Li and Chien-Wei Huang and Shuai Wang and Chong-Yung Chi and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2310.19558},
year = {2024}
}
备注
33 pages, 8 figures, 1 table. Accepted by IEEE Internet of Things Journal