联邦非凸稀疏学习
机器学习
2021-01-05 v1
摘要
非凸稀疏学习在信号处理与深度网络压缩等诸多领域起着关键作用。迭代硬阈值（IHT）方法是非凸稀疏学习的最优方法（SOTA），因其具备恢复真实支撑集的能力以及对大型数据集的可扩展性。IHT 的理论分析目前基于集中式 IID 数据。然而在现实大规模场景中，数据分布式、几乎非 IID，且对本地边缘计算设备私密。因此有必要考察 IHT 在联邦设置下的性质——其在本地设备上并行更新，仅偶尔与中央服务器通信且不共享本地数据。本文提出两种 IHT 方法：联邦硬阈值（Fed-HT）与联邦迭代硬阈值（FedIter-HT）。我们证明两种算法均享有线性收敛速率，并具备恢复最优稀疏估计量的强保证，类似于传统 IHT 方法，但现为去中心化非 IID 数据。实证结果表明，Fed-HT 与 FedIter-HT 在降低目标值方面优于其竞争者——一种分布式 IHT，且对通信轮次与带宽的要求更低。
引用
@article{arxiv.2101.00052,
title = {Federated Nonconvex Sparse Learning},
author = {Qianqian Tong and Guannan Liang and Tan Zhu and Jinbo Bi},
journal= {arXiv preprint arXiv:2101.00052},
year = {2021}
}