数据异构下无线联邦学习的分析与优化
机器学习
2023-08-08 v1 人工智能
分布式、并行与集群计算
摘要
随着智能移动设备的快速普及，联邦学习（FL）已被广泛考虑应用于无线网络中以进行分布式模型训练。然而，数据异构性，例如客户端间非独立同分布和训练数据大小不同，给无线 FL 带来了重大挑战。有限的通信资源使异构数据训练所需的公平调度实现复杂化，并进一步恶化整体性能。为解决此问题，本文关注无线 FL 在数据异构性结合无线资源分配下的性能分析与优化。具体而言，我们首先推导出 FL 损失函数上界的闭式表达式，特别强调由数据集大小向量和数据散度向量描述的数据异构性。然后我们在长期能耗和延迟约束下， formulate 损失函数最小化问题，并联合优化客户端调度、资源分配和本地训练轮数（CRE）。接下来，通过李雅普诺夫漂移技术，我们将 CRE 优化问题转化为一系列易处理的问题。在真实世界数据集上的大量实验表明，所提算法在学习精度和能耗方面优于其他基准。
引用
@article{arxiv.2308.03521,
title = {Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity},
author = {Xuefeng Han and Jun Li and Wen Chen and Zhen Mei and Kang Wei and Ming Ding and H. Vincent Poor},
journal= {arXiv preprint arXiv:2308.03521},
year = {2023}
}