通过神经处理单元与边缘计算在移动设备上进行深度学习
网络与互联网体系结构
2021-12-07 v1
摘要
深度神经网络（DNN）正被采用于移动设备上的视频分析。为减少运行 DNN 的延迟，许多移动设备配备了神经处理单元（NPU）。然而，由于 NPU 的资源限制，这些 DNN 必须被压缩以在牺牲准确率为代价的情况下提高处理速度。为解决低准确率问题，我们提出了一种基于置信度的卸载（CBO）框架用于深度学习视频分析。主要挑战在于：何时根据运行 DNN 的置信度水平返回 NPU 分类结果，以及何时将视频帧卸载至服务器进行进一步处理以提高准确率。我们首先指出了使用现有置信度分数进行卸载决策的问题，并提出置信度分数校准技术以改进性能。随后，我们形式化了 CBO 问题，其目标是在一定时间约束下最大化准确率，并提出了一种自适应方案，该方案基于置信度分数与网络状况决定卸载哪些帧及其分辨率。通过实际实现与广泛评估，我们证明了所提方案可显著优于其他方法。
引用
@article{arxiv.2112.02439,
title = {Deep Learning on Mobile Devices Through Neural Processing Units and Edge Computing},
author = {Tianxiang Tan and Guohong Cao},
journal= {arXiv preprint arXiv:2112.02439},
year = {2021}
}