E4：通过早期退出与动态电压频率调节实现面向边缘视频分析的能效深度神经网络推理
计算机视觉与模式识别
2025-03-10 v1 人工智能
摘要
深度神经网络（DNN）模型在边缘视频分析应用中日益流行。然而，DNN 模型的计算密集特性对资源受限的边缘设备上的能效推理提出了挑战。大多数现有方案侧重于优化 DNN 推理的延迟和准确率，往往忽视了能效。它们也未能考虑视频帧的复杂度差异，导致边缘视频分析中的次优性能。在本文中，我们提出了一个能效早期退出（E4）框架，通过将一种新型早期退出机制与动态电压和频率调节（DVFS）控制器相结合，提升了边缘视频分析中 DNN 推理的效率。该框架采用基于注意力的级联模块来分析视频帧的多样性，并自动确定最优的 DNN 退出点。此外，E4 配备了一个即时（JIT）分析器，利用坐标下降搜索在 DNN 退出点之前为每一层联合优化 CPU 和 GPU 时钟频率。广泛的评估表明，E4 优于当前最先进的方法，在保持高准确率的同时实现了高达 2.8 倍的加速和 26% 的平均能耗节省。
引用
@article{arxiv.2503.04865,
title = {E4: Energy-Efficient DNN Inference for Edge Video Analytics Via Early-Exit and DVFS},
author = {Ziyang Zhang and Yang Zhao and Ming-Ching Chang and Changyao Lin and Jie Liu},
journal= {arXiv preprint arXiv:2503.04865},
year = {2025}
}
备注
9 pages, 5 figures, to be published in AAAI 2025