双重动态推理：实现更高效、自适应与可控的深度推理
机器学习
2023-07-19 v3
摘要
最先进的卷积神经网络（CNNs）取得了破纪录的预测性能，却以高能耗推理为代价，这阻碍了它们在资源受限的物联网（IoT）应用中的广泛部署。我们提出了一种双重动态推理（DDI）框架，其重点如下：1）我们将输入依赖与资源依赖的动态推理机制集成于统一框架之下，以适应实际中变化的 IoT 资源需求。DDI 既能持续抑制简单样本的不必要开销，也能为所有样本中止推理以满足硬性资源约束；2）我们提出了一种灵活的多粒度学习跳跃（MGL2S）方法用于输入依赖推理，可同时实现层-wise 与通道-wise 的跳过；3）我们将 DDI 扩展至 DenseNet 等复杂 CNN 主干网络，并表明 DDI 可用于优化任意特定资源目标，包括推理延迟或能耗。大量实验证明了 DDI 相比现有同类方法在推理精度-资源权衡上的优越性，以及控制此类权衡的灵活性。具体而言，与现有竞争性基线相比，DDI 可在相同或更高精度下实现高达 4 倍的计算节省。
引用
@article{arxiv.1907.04523,
title = {Dual Dynamic Inference: Enabling More Efficient, Adaptive and Controllable Deep Inference},
author = {Yue Wang and Jianghao Shen and Ting-Kuei Hu and Pengfei Xu and Tan Nguyen and Richard Baraniuk and Zhangyang Wang and Yingyan Lin},
journal= {arXiv preprint arXiv:1907.04523},
year = {2023}
}