HierTrain：移动-边缘-云计算中基于混合并行性的快速分层边缘 AI 学习
网络与互联网体系结构
2020-03-24 v1 分布式、并行与集群计算
机器学习
摘要
如今，深度神经网络（DNNs）是许多新兴边缘 AI 应用的核心赋能者。训练 DNN 的传统方法通常在中心服务器或云中心实现集中式学习，由于大量数据样本从设备传输到远端云，通常耗时且耗费资源。为克服这些缺点，我们考虑在移动-边缘-云计算（MECC）范式上加速 DNN 的学习过程。在本文中，我们提出 HierTrain，一种分层边缘 AI 学习框架，其将 DNN 训练任务高效部署于分层 MECC 架构之上。我们开发了一种新颖的混合并行性（hybrid parallelism）方法，它是 HierTrain 的关键，用于自适应地在边缘设备、边缘服务器和云中心三个层级分配 DNN 模型层与数据样本。随后我们将 DNN 训练任务在层粒度和样本粒度上的调度问题公式化。求解该优化问题使我们能够实现最小训练时间。我们进一步实现了由边缘设备、边缘服务器和云服务器组成的硬件原型，并在其上进行了大量实验。实验结果表明，与基于云的分层训练方法相比，HierTrain 可实现高达 6.9 倍的加速。
引用
@article{arxiv.2003.09876,
title = {HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing},
author = {Deyin Liu and Xu Chen and Zhi Zhou and Qing Ling},
journal= {arXiv preprint arXiv:2003.09876},
year = {2020}
}
备注
Submitted for review