分布式工业物联网网络中基于 DNN 划分的低延迟联邦学习
分布式、并行与集群计算
2022-10-27 v1
摘要
联邦学习 (FL) 凭借其在无需交换原始数据的情况下进行分布式机器学习的能力，通过工业自动化的分布式智能赋能工业物联网 (IIoT)。然而，对于轻量级 IIoT 设备而言，在大规模深度神经网络 (DNN) 上执行计算密集型的本地模型训练极具挑战性。受此问题驱动，我们为资源受限的 IIoT 网络开发了一个通信与计算高效的 FL 框架，该框架将 DNN 划分技术集成到标准 FL 机制中，其中 IIoT 设备在目标 DNN 的底层执行本地模型训练，并将顶层卸载到边缘网关侧。考虑到数据分布不平衡，我们推导出了特定于设备的参与率，以使数据分布更好的设备参与更多的通信轮次。在推导出特定于设备的参与率后，我们提出在特定于设备的参与率、能耗和内存使用的约束下最小化训练延迟。为此，我们构建了一个设备调度与资源分配（即 DNN 划分点、信道分配、发射功率和计算频率）的联合优化问题，并基于 Lyapunov 技术求解了该长期极小极大混合整数非线性规划。具体而言，所提出的动态设备调度与资源分配 (DDSRA) 算法能够实现一种权衡，以平衡训练延迟最小化与 FL 性能。我们还提供了 DDSRA 算法在凸和非凸设置下的 FL 收敛界。实验结果证明了所推导的特定于设备参与率的可行性，并表明 DDSRA 算法在测试准确率和收敛时间方面优于基线方法。
引用
@article{arxiv.2210.14700,
title = {Low-latency Federated Learning with DNN Partition in Distributed Industrial IoT Networks},
author = {Xiumei Deng and Jun Li and Chuan Ma and Kang Wei and Long Shi and Ming Ding and Wen Chen},
journal= {arXiv preprint arXiv:2210.14700},
year = {2022}
}