边缘计算中利用无缝协作的分布式深度学习推理加速
分布式、并行与集群计算
2022-09-12 v1 人工智能
摘要
本文研究协作边缘计算中使用分布式卷积神经网络（CNN）的推理加速。为确保推理任务划分中的推理精度，我们在执行基于分割的划分时考虑感受野。为最大化通信与计算过程之间的并行性，从而最小化推理任务的总推理时间，我们设计了一种新型任务协作方案，其中辅助边缘服务器（ES）上子任务的重叠区在主机ES上执行，称为HALP。我们进一步将HALP扩展到多任务场景。实验结果表明，在GTX 1080TI和JETSON AGX Xavier上，HALP对VGG-16的单任务CNN推理加速为1.7-2.0倍，每批次4任务时为1.7-1.8倍，优于最先进的工作MoDNN。此外，我们在时变信道下评估了服务可靠性，表明HALP是在严格服务截止时间内确保高服务可靠性的有效方案。
引用
@article{arxiv.2207.11294,
title = {Distributed Deep Learning Inference Acceleration using Seamless Collaboration in Edge Computing},
author = {Nan Li and Alexandros Iosifidis and Qi Zhang},
journal= {arXiv preprint arXiv:2207.11294},
year = {2022}
}
备注
Accepted by the 2022 IEEE International Conference on Communications (ICC)