面向边缘设备可靠自适应分布式推理的流体动态深度神经网络
计算机视觉与模式识别
2024-01-18 v1
摘要
分布式推理是在边缘端实现高效深度神经网络推理的流行方法。然而，传统的静态和动态深度神经网络并不适合分布式部署，会导致系统可靠性和自适应性问题。本文提出专为分布式推理设计的流体动态深度神经网络（Fluid DyDNNs）。与静态和动态深度神经网络不同，Fluid DyDNNs 采用一种新颖的嵌套增量训练算法，使其子网络能够独立和组合运行，从而增强系统可靠性和自适应性。在嵌入式 Arm CPU 上使用一个深度神经网络模型和 MNIST 数据集进行的评估表明，在单设备故障场景下，Fluid DyDNNs 能确保持续推理，而静态和动态深度神经网络则会失效。当所有设备正常运行时，Fluid DyDNNs 可在高精度模式下运行，达到与静态深度神经网络相当的精度；或在高吞吐量模式下运行，吞吐量分别达到静态和动态深度神经网络的 2.5 倍和 2 倍。
引用
@article{arxiv.2401.08943,
title = {Fluid Dynamic DNNs for Reliable and Adaptive Distributed Inference on Edge Devices},
author = {Lei Xun and Mingyu Hu and Hengrui Zhao and Amit Kumar Singh and Jonathon Hare and Geoff V. Merrett},
journal= {arXiv preprint arXiv:2401.08943},
year = {2024}
}
备注
Accepted at Design, Automation & Test in Europe Conference (DATE) 2024