HAPI：硬件感知的渐进式推理
计算机视觉与模式识别
2020-08-11 v1 机器学习
摘要
卷积神经网络（CNNs）近来已成为多种 AI 任务的最先进方法。尽管广受欢迎，CNN 推理仍带来高昂的计算成本。越来越多的工作旨在通过利用样本间分类难度的差异并在网络的不同阶段提前退出（early-exiting）来缓解这一问题。然而，已有的关于提前退出的研究主要关注训练方案，未考虑用例需求或部署平台。本工作提出 HAPI，一种通过联合优化中间退出点的布置与推理时的提前退出策略来生成高性能提前退出网络的新方法。此外，我们提出了一种高效的设计空间探索算法，能够更快速地遍历大量替代架构，并生成贴合用例需求和目标硬件的最优设计。定量评估表明，我们的系统在各种延迟预算下始终优于替代搜索机制和最先进的提前退出方案。而且，它进一步推进了高度优化的手工提前退出 CNN 的性能，在嵌入式设备上 imposed latency-driven SLAs 下相较轻量模型实现了高达 5.11 倍的加速。
引用
@article{arxiv.2008.03997,
title = {HAPI: Hardware-Aware Progressive Inference},
author = {Stefanos Laskaridis and Stylianos I. Venieris and Hyeji Kim and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2008.03997},
year = {2020}
}
备注
Accepted at the 39th International Conference on Computer-Aided Design (ICCAD), 2020