具有正则化误差校正的联邦学习稀疏训练
机器学习
2026-03-17 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习因其在训练深度神经网络模型方面带来的显著优势而备受关注。然而，由于通信和计算资源有限，在 FL 系统中训练 DNN 模型面临着复杂任务中计算和通信成本增加等挑战。为了降低每个客户端（即节点）传输的维度，稀疏训练方案受到越来越多的关注。具体而言，带有误差校正的稀疏化方法是一种很有前景的技术，其中只有重要的更新被发送到参数服务器，其余的则在本地累积。虽然误差校正方法已被证明能在不损害收敛性的情况下实现客户端至 PS 消息的显著稀疏化，但由于陈旧效应，进一步推进稀疏性仍未得到解决。在本文中，我们提出了一种名为“具有累积正则化嵌入的联邦学习”的新算法，以克服这一挑战。FLARE 通过在 FL 过程中对嵌入进行正则化的累积拉取更新模型，提出了一种新颖的稀疏训练方法，为陈旧效应提供了强大的解决方案，并将稀疏性推向了极高的水平。通过在多样且复杂的模型上进行大量实验，验证了 FLARE 的性能，实现了显著的稀疏度（比当前 SOTA 高出 10 倍及以上），同时显著提高了准确性。此外，为了相关领域研究人员和开发者的利益，我们还开发了一个开源软件包。
引用
@article{arxiv.2312.13795,
title = {Sparse Training for Federated Learning with Regularized Error Correction},
author = {Ran Greidi and Kobi Cohen},
journal= {arXiv preprint arXiv:2312.13795},
year = {2026}
}