联邦学习中能感知梯度修剪的理论框架
机器学习
2026-03-25 v1 分布式、并行与集群计算
信息论
网络与互联网体系结构
math.IT
机器学习
摘要
联邦学习(FL)受限于去中心化边缘设备的通信与能源限制。虽然通过Top-K幅值修剪有效减少通信负载，但其本质上是能源不可感知的。它假设所有参数更新在后向传播后都 incur 相同的下游传输和内存更新成本，忽视了硬件在后向传播后期内在的差异。我们将修剪过程形式化为考虑后向传播阶段中内存密集型与计算高效运算硬件差异的能源受限投影问题。我们提出Cost-Weighted Magnitude Pruning(CWMP)，这是一种基于参数更新幅值相对于其物理成本的大小进行优先级排序的选择规则。我们证明CWMP是该受限投影的最优贪心解，并对其全局能源效率进行概率分析。在非IID CIFAR-10基准测试中，数值结果表明CWMP在性能-能源帕累托前沿上持续优于Top-K基线。
引用
@article{arxiv.2603.22465,
title = {A Theoretical Framework for Energy-Aware Gradient Pruning in Federated Learning},
author = {Emmanouil M. Athanasakos},
journal= {arXiv preprint arXiv:2603.22465},
year = {2026}
}
备注
8 pages, 2 figures. This work has been submitted to the IEEE for possible publication