HideNseek：基于服务端剪枝与符号超掩码的微联合彩票假设
机器学习
2022-06-10 v1
摘要
联邦学习仅向中心服务器传输本地模型更新，从而缓解了分布式学习中的隐私风险。然而，它面临着客户端数据集的统计异构性以及客户端设备的资源限制等挑战，这些严重影响了训练性能与用户体验。已有工作通过将个性化与包括量化和剪枝在内的模型压缩方案相结合来应对这些挑战。然而，剪枝依赖于数据，因此必须在客户端进行，这需要可观的计算成本。此外，剪枝通常训练一个二进制超掩码 ，这显著限制了模型容量却无计算收益。因此，训练需要高昂的计算成本与较长的收敛时间，而模型性能却未能相应提升。在本工作中，我们提出 HideNseek，其在初始化时采用一次性数据无关剪枝，基于权重的突触显著性获得子网络。随后每个客户端优化一个符号超掩码 与未剪枝权重相乘，从而在相同压缩率下比现有最优方法更快收敛。来自三个数据集的实证结果表明，与现有最优方法相比，HideNseek 将推理准确率最高提升 40.6%，同时将通信成本与训练时间分别最多降低 39.7% 与 46.8%。
引用
@article{arxiv.2206.04385,
title = {HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign Supermask},
author = {Anish K. Vallapuram and Pengyuan Zhou and Young D. Kwon and Lik Hang Lee and Hengwei Xu and Pan Hui},
journal= {arXiv preprint arXiv:2206.04385},
year = {2022}
}