动态路由网络
机器学习
2020-11-10 v5 计算机视觉与模式识别
机器学习
摘要
深度神经网络在现实应用中的部署大多受其高推理成本的限制。人们已做出大量努力，通过专家设计或算法搜索的架构来提升准确率。然而，这种渐进式的提升通常是以模型越来越昂贵为代价实现的，而实际上只有一小部分输入实例真正需要这样的模型。使用静态架构、通过相同的变换处理所有输入实例的推理方式，因此会产生不必要的计算成本。因此，以实例感知的方式定制模型容量对于更高的推理效率十分必要。本文提出动态路由网络（DRNets），它通过在每个变换节点之间的连接上，将输入实例路由至从候选分支集合中仅选取的必要变换分支，来支持高效的实例感知推理。分支选择由相应的分支重要性权重动态决定，这些权重首先由轻量级超网络（RouterNets）生成，然后在选择前通过 Gumbel-Softmax 重新校准。大量实验表明，DRNets 能在推理时大幅减少参数量和 FLOPs，且预测性能可与最先进的架构相媲美。
引用
@article{arxiv.1905.04849,
title = {Dynamic Routing Networks},
author = {Shaofeng Cai and Yao Shu and Wei Wang and Beng Chin Ooi},
journal= {arXiv preprint arXiv:1905.04849},
year = {2020}
}
备注
10 pages, 3 figures, 3 tables