基于类别排除的早期退出神经网络高效推理方法
机器学习
2024-02-20 v2
摘要
深度神经网络（DNNs）已成功应用于多个领域。在 DNNs 中，需要执行大量的乘累加（MAC）操作，这给在资源受限平台（如边缘设备）上应用它们带来了关键挑战。为应对该挑战，本文提出一种基于类别的动态推理早期退出方法。我们并非推动 DNNs 在中间层做出动态决策，而是利用这些层中所学到的特征尽可能排除尽可能多的不相关类别，使得后续层只需在剩余类别中确定目标类别。当某一层仅剩一个类别时，该类别即为相应的分类结果。实验结果表明，所提出的早期退出技术可显著降低 DNNs 推理的计算成本。代码见 https://github.com/HWAI-TUDa/EarlyClassExclusion。
引用
@article{arxiv.2309.13443,
title = {Early-Exit with Class Exclusion for Efficient Inference of Neural Networks},
author = {Jingcun Wang and Bing Li and Grace Li Zhang},
journal= {arXiv preprint arXiv:2309.13443},
year = {2024}
}