基于深度神经网络的全动态推理
计算机视觉与模式识别
2020-07-31 v1 机器学习
摘要
现代深度神经网络是强大且广泛适用的模型，通过多层次抽象提取与任务相关的信息。然而，它们跨领域的成功往往以计算成本、高内存带宽和长推理延迟为代价，这阻碍了其在资源受限和时间敏感场景（如边缘侧推理和自动驾驶汽车）中的部署。虽然近期开发的用于创建高效深度神经网络的方法通过减小模型规模使其实际部署更为可行，但它们并未在逐实例基础上充分利用输入特性以最大化计算效率和任务精度。具体而言，大多数现有方法通常采用一刀切的方式，对所有输入进行完全相同的处理。受不同图像需要不同特征嵌入才能被准确分类这一事实的启发，我们提出了一种全动态范式，赋予深度卷积神经网络在层以及单个卷积滤波器/通道层面的分层推理动态性。两个紧凑网络，称为 Layer-Net (L-Net) 和 Channel-Net (C-Net)，在逐实例基础上预测哪些层或滤波器/通道是冗余的因而应被跳过。L-Net 和 C-Net 还学习如何缩放保留的计算输出以最大化任务精度。通过将 L-Net 和 C-Net 集成到一个称为 LC-Net 的联合设计框架中，我们在效率和分类精度两方面均持续优于最先进的动态框架。在 CIFAR-10 数据集上，与其他动态推理方法相比，LC-Net 减少了多达 11.9 的浮点运算次数（FLOPs）并提高了多达 3.3% 的精度。在 ImageNet 数据集上，LC-Net 实现了多达 1.4 更少的 FLOPs 和比其他方法高多达 4.6% 的 Top-1 精度。
引用
@article{arxiv.2007.15151,
title = {Fully Dynamic Inference with Deep Neural Networks},
author = {Wenhan Xia and Hongxu Yin and Xiaoliang Dai and Niraj K. Jha},
journal= {arXiv preprint arXiv:2007.15151},
year = {2020}
}