使用 Gumbel Softmax 的通道选择
计算机视觉与模式识别
2020-11-25 v4
摘要
移动计算等重要应用需要降低神经网络推理的计算成本。理想情况下，应用会指定其在准确率和速度之间的偏好权衡，而网络将端到端地优化此目标，利用分类误差来移除部分网络。提升速度可在训练期间（如剪枝滤波器）或推理期间（如条件执行子集层）进行。我们提出一个单一的端到端框架，可在两种设置下提升推理效率。我们使用批量激活损失与分类损失的组合，以及 Gumbel 重参数化来学习网络结构。我们端到端训练，且同一技术同时支持剪枝与条件计算。我们在 ImageNet 分类上使用 ResNet 获得了有前景的实验结果（减少 45-52% 的计算量）。
引用
@article{arxiv.1812.04180,
title = {Channel selection using Gumbel Softmax},
author = {Charles Herrmann and Richard Strong Bowen and Ramin Zabih},
journal= {arXiv preprint arXiv:1812.04180},
year = {2020}
}
备注
ECCV 2020