异构无线网络上动态分布式模型训练的并行连续学习
机器学习
2023-06-16 v6 人工智能
网络与互联网体系结构
系统与控制
系统与控制
摘要
联邦学习(FedL)已成为一种流行技术，通过迭代的本地更新(在设备上)和全局聚合(在服务器上)，在一组无线设备上分布模型训练。在本文中，我们提出并行连续学习(PSL)，其沿三个维度扩展了 FedL 架构：(i) 网络，允许通过设备到设备(D2D)通信在设备间进行去中心化协作。(ii) 异构性，在三个层面上解释：(ii-a) 学习：PSL 考虑设备上具有不同小批量大小的异构随机梯度下降迭代次数；(ii-b) 数据：PSL 假设具有数据到达和离开的动态环境，其中本地数据集的分布随时间演化，通过一个新的模型/概念漂移度量来刻画。(ii-c) 设备：PSL 考虑具有不同计算和通信能力的设备。(iii) 邻近性，其中设备彼此之间以及与接入点具有不同的距离。PSL 考虑了全局聚合之间穿插空闲时间以提高资源效率的现实场景，并将数据分散和模型分散与本地模型压缩结合进 FedL。我们的分析阐明了分布式机器学习中冷模型与预热模型以及模型惯性的概念。然后我们提出网络感知动态模型跟踪，以优化模型学习与时资源效率的权衡，我们证明这是一个 NP-hard 的 signomial 规划问题。我们最终通过提出一个通用优化求解器来解决该问题。我们的数值结果揭示了全局聚合之间空闲时间、模型/概念漂移和 D2D 协作配置之间相互依赖关系的新发现。
引用
@article{arxiv.2202.02947,
title = {Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks},
author = {Seyyedali Hosseinalipour and Su Wang and Nicolo Michelusi and Vaneet Aggarwal and Christopher G. Brinton and David J. Love and Mung Chiang},
journal= {arXiv preprint arXiv:2202.02947},
year = {2023}
}