ScissionLite：利用传输层加速分布式深度神经网络
分布式、并行与集群计算
2021-05-06 v1 人工智能
摘要
工业物联网（IIoT）应用可受益于边缘计算。例如，以深度神经网络（DNN）模型为支撑的应用可被切片并分布到 IIoT 设备与网络边缘，以改善推理的整体性能并增强输入数据（如工业产品图像）的隐私性。然而，IIoT 设备与边缘之间的低网络性能常常成为瓶颈。在本研究中，我们开发了 ScissionLite，一个利用传输层（TL）加速分布式 DNN 推理的整体框架。TL 是一个插入在 DNN 模型切片最优切分点之间的流量感知层，用于在不显著损失精度的前提下减少出站网络流量。对于 TL，我们实现了一种面向性能受限的 IIoT 设备的新型轻量级下/上采样网络。在 ScissionLite 中，我们开发了 ScissionTL、预处理器与卸载器，用于部署带 TL 的 DNN 切片的端到端活动。它们决定 DNN 的最优切分点，准备包含 TL 的预训练 DNN 切片，并在 IIoT 设备与边缘上执行 DNN 切片。对切片 DNN 模型采用 TL 的开销可忽略不计。与在本地设备上执行以及现有最先进的模型切片方法相比，ScissionLite 分别将推理延迟改善了至多 16 倍和 2.8 倍。
引用
@article{arxiv.2105.02019,
title = {ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer},
author = {Hyunho Ahn and Munkyu Lee and Cheol-Ho Hong and Blesson Varghese},
journal= {arXiv preprint arXiv:2105.02019},
year = {2021}
}
备注
10 pages