在数据异构性下探索联邦学习中的年龄-信息加权
信号处理
2024-05-28 v1
摘要
本文研究了在无线通信系统中采用随机设备选择的联邦学习问题，其中数据服从非独立同分布（non-IID）分布。分析表明，尽管在非IID数据集上使用联邦随机梯度下降（FedSGD）训练深度学习网络时，设备选择会产生梯度误差并累积，导致权重发散。为缓解训练发散，我们设计了年龄加权FedSGD，通过根据设备的先前状态来缩放本地梯度。为进一步通过增加设备参与度提高学习性能（受最大时延约束），我们构建了包含资源分配和子信道分配的能耗最小化问题。通过将资源分配问题转化为凸优化并利用KKT条件，我们推导了最优资源分配解。此外，本文开发了一种基于匹配的算法以生成改进的子信道分配。仿真结果表明：(1)年龄加权FedSGD在收敛速率和可实现精度方面均优于传统FedSGD；(2)所提出的资源分配和子信道分配策略可显著降低能耗并提高学习性能，通过增加所选设备的数量实现。
引用
@article{arxiv.2405.15978,
title = {Exploring Age-of-Information Weighting in Federated Learning under Data Heterogeneity},
author = {Kaidi Wang and Zhiguo Ding and Daniel K. C. So and Zhi Ding},
journal= {arXiv preprint arXiv:2405.15978},
year = {2024}
}