层次化联邦学习结合SignSGD：一种高度通信高效的方法
分布式、并行与集群计算
2026-02-03 v1 信息论
机器学习
math.IT
摘要
层次化联邦学习（Hierarchical Federated Learning, HFL）已成为大规模无线和物联网系统中的关键架构，设备通过与附近的边缘服务器通信后再与云端交互。在这些环境中，上行带宽和延迟施加了严格的通信限制，使得积极的梯度压缩至关重要。一种基于符号的随机梯度下降（SignSGD）方法在平坦的联邦设置中提供了吸引人的解决方案，但现有的理论和算法并不自然地扩展到层次化设置。特别是，边缘层majority-vote聚合与云层模型聚合之间的相互作用，以及其对最终性能的影响，仍未知晓。为填补这一差距，我们提出了一个高度通信高效的基于符号的HFL框架，并为非凸学习问题开发了相应的公式化方案，其中设备仅发送符号随机梯度，边缘服务器通过majority-vote进行组合，云端定期平均得到的边缘模型，同时利用下行量化来广播全局模型。我们引入 resulting scalable HFL algorithm，即HierSignSGD，并就SignSGD在层次化设置下的收敛性提供了分析。我们的核心技术贡献在于，对偏置符号压缩、两级聚合间隔以及簇间异构性如何共同影响收敛的特征化刻画。数值实验在均匀和非均匀数据划分下表明，HierSignSGD尽管采用极端压缩，仍能在保持通信成本降低的同时，实现与或优于全精度随机梯度下降相当的精度，并且在激进的下行稀疏化情况下仍保持鲁棒性。
引用
@article{arxiv.2602.02355,
title = {Hierarchical Federated Learning with SignSGD: A Highly Communication-Efficient Approach},
author = {Amirreza Kazemi and Seyed Mohammad Azimi-Abarghouyi and Gabor Fodor and Carlo Fischione},
journal= {arXiv preprint arXiv:2602.02355},
year = {2026}
}