面向分区边缘学习效率提升的联合参数与带宽分配
信息论
2020-07-01 v3 分布式、并行与集群计算
机器学习
math.IT
摘要
为利用移动设备的数据与计算能力，机器学习算法被部署在网络边缘以训练人工智能（AI）模型，从而形成了边缘学习这一新范式。本文考虑分区边缘学习框架，利用许多资源受限的设备（称为工作节点）迭代训练大规模模型。为此，在每次迭代中，模型被动态划分为参数块，下载至各工作节点组并使用数据子集进行更新。随后，本地更新被上传至服务器并级联以更新全局模型。为通过最小化总学习与通信时延来减少资源使用，本文聚焦于参数（计算负载）分配与带宽分配（用于下载与上传）的联合新颖设计。采用两种设计方法。首先，一种实用的顺序方法，称为部分集成参数与带宽分配（PABA），产生两种方案，即带宽感知参数分配与参数感知带宽分配。前者最小化训练同一参数块的工作节点组中计算最慢者的负载；后者将最大带宽分配给成为时延瓶颈的工作节点。其次，对PABA进行联合优化。尽管其为非凸问题，通过巧妙嵌套二分搜索与求解凸问题，导出了高效且最优的求解算法。基于真实数据的实验结果表明，集成PABA可显著提升分区边缘学习的性能，在时延（如46%）与精度（如4%）方面均有所改善。
引用
@article{arxiv.2003.04544,
title = {Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning},
author = {Dingzhu Wen and Mehdi Bennis and Kaibin Huang},
journal= {arXiv preprint arXiv:2003.04544},
year = {2020}
}