预测性退出：面向计算与能耗高效推理的细粒度提前退出预测
机器学习
2022-12-29 v2 硬件体系结构
神经与进化计算
摘要
通过在深度学习网络中增加退出层，提前退出可在获得准确结果时更早终止推理。是否退出或继续下一层的被动决策必须遍历每个预置退出层直至退出。此外，随着推理进行，计算平台的配置也难以调整。通过引入低成本预测引擎，我们提出一种面向计算与能耗高效深度学习应用的预测性退出框架。预测性退出可预测网络将在何处退出（即确定完成推理所需的剩余层数），从而通过按时退出、无需运行每个预置退出层来有效降低网络计算开销。此外，根据剩余层数，选取合适的计算配置（即频率与电压）执行网络以进一步节能。大量实验结果表明，在同等推理精度与延迟下，相较于经典深度学习网络，预测性退出实现了最高 96.2% 的计算量削减与 72.9% 的节能；相较于最先进退出策略下的提前退出，实现了 12.8% 的计算量削减与 37.6% 的节能。
引用
@article{arxiv.2206.04685,
title = {Predictive Exit: Prediction of Fine-Grained Early Exits for Computation- and Energy-Efficient Inference},
author = {Xiangjie Li and Chenfei Lou and Zhengping Zhu and Yuchi Chen and Yingtao Shen and Yehan Ma and An Zou},
journal= {arXiv preprint arXiv:2206.04685},
year = {2022}
}