动态卷积：利用空间稀疏性实现更快推理
计算机视觉与模式识别
2022-08-08 v3
摘要
现代卷积神经网络对图像中每个像素施加相同的操作。然而，并非所有图像区域都同等重要。为解决这一低效问题，我们提出一种根据输入图像动态施加卷积的方法。我们引入一个残差块，其中一个小的门控分支学习哪些空间位置应当被计算。这些离散门控决策使用 Gumbel-Softmax 技巧结合稀疏性准则进行端到端训练。我们在 CIFAR、ImageNet 和 MPII 上的实验表明，我们的方法比现有方法更好地聚焦于感兴趣区域且准确率更高，同时计算复杂度更低。此外，我们利用 gather-scatter 方法提供了动态卷积的高效 CUDA 实现，使用 MobileNetV2 残差块显著提升了推理速度。在本质上具有空间稀疏性的人体姿态估计任务上，处理速度提升了 60% 且精度无损。
引用
@article{arxiv.1912.03203,
title = {Dynamic Convolutions: Exploiting Spatial Sparsity for Faster Inference},
author = {Thomas Verelst and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:1912.03203},
year = {2022}
}
备注
CVPR 2020 (poster)