动态分辨率网络
计算机视觉与模式识别
2021-11-09 v3
摘要
深度卷积神经网络（CNNs）常因准确率考量而设计精巧并带大量可学习参数。为缓解其在移动设备上部署的昂贵代价，近期工作大力挖掘预定义架构中的冗余。然而，现代 CNNs 输入分辨率上的冗余尚未被充分研究，即输入图像分辨率固定。本文中，我们观察到使用同一神经网络时，准确预测给定图像所需的最小分辨率各不相同。为此，我们提出一种新颖动态分辨率网络（DRNet），其中输入分辨率基于每个输入样本动态决定。其中，探究了一个计算代价可忽略的分辨率预测器，并与目标网络联合优化。具体而言，该预测器学习每幅图像所能保持甚至超越原始识别精度的最小分辨率。推理期间，每幅输入图像将被缩放至其预测分辨率以最小化整体计算负担。我们随后在多个基准网络与数据集上开展广泛实验。结果显示，我们的 DRNet 可嵌入任意现成网络架构以获得计算复杂度的可观削减。例如，DR-ResNet-50 取得与原 ResNet-50 相近性能且计算约减 34%，而在 ImageNet 上以 10% 计算削减取得 1.4% 精度提升。
引用
@article{arxiv.2106.02898,
title = {Dynamic Resolution Network},
author = {Mingjian Zhu and Kai Han and Enhua Wu and Qiulin Zhang and Ying Nie and Zhenzhong Lan and Yunhe Wang},
journal= {arXiv preprint arXiv:2106.02898},
year = {2021}
}
备注
Accepted by NeurIPS 2021