含噪信道下拓扑感知异构联邦边缘学习的信息论泛化分析
信息论
2023-12-27 v3 机器学习
math.IT
摘要
随着边缘智能的快速发展，联邦学习（FL）在无线网络上的部署日益受到关注，这被称为联邦边缘学习（FEEL）。在FEEL中，移动设备通过含噪信道传输模型参数以及在不同环境中收集数据，均对训练模型的泛化能力提出了挑战。此外，设备可通过设备到设备（D2D）通信参与去中心化FL，而连接设备的通信拓扑同样影响模型的泛化。近期多数理论研究在进行泛化分析时忽视了将这一切效应纳入FEEL。相反，我们的工作针对数据异构与含噪信道并存的情形，提出了拓扑感知FEEL的信息论泛化分析。此外，基于我们的分析，我们提出了一种称为联邦全局互信息缩减（FedGMIR）的新正则化方法以提升模型性能。数值结果验证了我们的理论发现，并证明了所提方法的有效性。
引用
@article{arxiv.2310.16407,
title = {Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels},
author = {Zheshun Wu and Zenglin Xu and Hongfang Yu and Jie Liu},
journal= {arXiv preprint arXiv:2310.16407},
year = {2023}
}
备注
to appear in IEEE Signal Processing Letters