DistrEE：面向边缘设备的深度神经网络分布式早退出
分布式、并行与集群计算
2025-02-25 v1 人工智能
机器学习
摘要
随着对网络边缘智能服务需求的增长，分布式DNN推理正变得越来越重要。通过利用边缘设备的计算能力，能够在之前仅由强大服务器可实现的复杂和资源密集型推理任务上进行推理，为自动驾驶、工业自动化和智能家居等新应用提供可能。然而，由于设备资源的实际波动性以及输入数据的处理难度，实现准确且高效的分布式边缘推理仍具有挑战性。本文提出DistrEE，一个能够在满足特定质量服务要求时提前退出模型推理的分布式DNN推理框架。特别是，该框架首先集成了模型早退出和分布式推理，以适应多节点协作推理场景。此外，它设计了早退出策略来控制模型推理何时终止。大量仿真结果表明，DistrEE能够有效实现高效的协作推理，在推理延迟和准确性之间实现有效的权衡。
关键词
引用
@article{arxiv.2502.15735,
title = {DistrEE: Distributed Early Exit of Deep Neural Network Inference on Edge Devices},
author = {Xian Peng and Xin Wu and Lianming Xu and Li Wang and Aiguo Fei},
journal= {arXiv preprint arXiv:2502.15735},
year = {2025}
}