在通信与资源优化的无线 IoT 网络上开展联邦学习
机器学习
2021-10-25 v1 分布式、并行与集群计算
信号处理
摘要
为利用海量分布式数据与计算资源，网络边缘的机器学习被视为一种有前景的技术，尤其适用于大规模模型训练。联邦学习（FL）作为一种协作学习技术范式，因通信效率与数据隐私改善的好处而获得越来越多的研究关注。由于有损通信信道与有限通信资源（如带宽与功率），研究无线系统上快速响应且准确的 FL 方案颇具意义。因此，我们研究无线物联网（IoT）网络上 FL 的通信效率与资源联合优化问题。为降低复杂度，我们将整体优化问题划分为两个子问题，即客户端调度问题与资源分配问题。为降低无线 IoT 网络中 FL 的通信成本，提出一种通过重用陈旧本地模型参数的新客户端调度策略。为使网络上信息交换成功最大化，首先利用拉格朗日乘子法解耦包括功率变量、带宽变量与传输指示变量在内的变量。随后开发基于线性搜索的功率与带宽分配方法。在适当超参数下，我们证明所提通信高效联邦学习（CEFL）框架以强线性速率收敛。大量实验表明，与采用均匀资源分配的基础 FL 方法相比，所提 CEFL 框架显著提升了无线 IoT 网络上 FL 的训练损失与测试准确率的通信效率与学习性能。
引用
@article{arxiv.2110.11775,
title = {Federated Learning over Wireless IoT Networks with Optimized Communication and Resources},
author = {Hao Chen and Shaocheng Huang and Deyou Zhang and Ming Xiao and Mikael Skoglund and H. Vincent Poor},
journal= {arXiv preprint arXiv:2110.11775},
year = {2021}
}