嵌入式系统上深度推理的精度与能耗权衡：一种协同设计方法
计算机视觉与模式识别
2019-01-31 v1
摘要
深度神经网络在图像、视频和语音等不同模态数据上取得了巨大成功。这一成功促使它们被部署于移动和嵌入式系统中以用于实时应用。然而，在嵌入式系统上利用深度网络进行重复推理，由于资源受限（如能耗与计算能力）而带来重大挑战。为应对这些挑战，我们开发了一种有原则的协同设计方法。基于先前工作，我们提出了一种称为由粗到细网络（Coarse-to-Fine Networks，C2F Nets）的形式化框架，其允许我们使用不同复杂度的分类器进行预测。我们提出了一种有原则的优化算法，以针对指定的推理精度与能耗之间的权衡自动配置 C2F Nets。其核心思想是动态选择一个复杂度与输入样本难度成正比的分类器：简单输入用简单分类器，困难输入用复杂分类器。我们使用四种不同的 C2F Net 架构在多个真实世界图像分类任务上进行了全面的实验评估。结果表明，与基线方案（所有预测均使用 C2F Net 中最复杂的分类器）相比，优化后的 C2F Net 能在不损失精度的情况下将能量延迟积（EDP）降低 27% 至 60%。
引用
@article{arxiv.1901.10584,
title = {Trading-off Accuracy and Energy of Deep Inference on Embedded Systems: A Co-Design Approach},
author = {Nitthilan Kannappan Jayakodi and Anwesha Chatterjee and Wonje Choi and Janardhan Rao Doppa and Partha Pratim Pande},
journal= {arXiv preprint arXiv:1901.10584},
year = {2019}
}
备注
Published in IEEE Trans. on CAD of Integrated Circuits and Systems