通过瞬态稀疏性解决低数据联邦学习中的协作困境
机器学习
2025-06-03 v1
摘要
联邦学习（FL）能够在保护数据隐私的前提下，跨去中心化客户端进行协作模型训练，并利用聚合更新构建稳健的全局模型。然而，由于数据异构性和本地数据集有限，这种训练范式面临重大挑战，往往阻碍了有效的协作。在这些场景中，我们发现了FL中的逐层惯性现象，即全局模型的中间层在早期通信轮次后几乎不进行更新，最终限制了全局聚合的有效性。我们证明了该现象广泛存在于多种联邦设置中，涵盖不同的数据集和网络架构。为解决这一问题，我们提出了LIPS（Layer-wise Inertia Phenomenon with Sparsity），一种简单而有效的方法，通过周期性地引入瞬态稀疏性来激发有意义的更新并增强全局聚合能力。实验表明，LIPS有效缓解了逐层惯性，增强了聚合有效性，并在各种FL场景中提升了整体性能。这项工作不仅加深了对FL中逐层学习动力学的理解，也为资源受限环境下更有效的协作策略铺平了道路。我们的代码已公开于：https://github.com/QiaoXiao7282/LIPS。
引用
@article{arxiv.2506.00932,
title = {Addressing the Collaboration Dilemma in Low-Data Federated Learning via Transient Sparsity},
author = {Qiao Xiao and Boqian Wu and Andrey Poddubnyy and Elena Mocanu and Phuong H. Nguyen and Mykola Pechenizkiy and Decebal Constantin Mocanu},
journal= {arXiv preprint arXiv:2506.00932},
year = {2025}
}