动态深度神经网络：通过选择性执行优化精度-效率权衡
机器学习
2018-03-06 v3 机器学习
摘要
我们提出动态深度神经网络（D2NN），一种允许选择性执行的前馈深度神经网络新类型。给定输入，仅执行 D2NN 神经元的一个子集，且该特定子集由 D2NN 自身决定。通过依据输入剪枝不必要的计算，D2NN 提供了一种提升计算效率的途径。为实现动态选择性执行，D2NN 在前馈深度神经网络（可微模块的定向无环图）上增补了控制器模块。每个控制器模块是一个子网络，其输出为控制其他模块能否执行的决策。D2NN 以端到端方式训练。D2NN 中的常规模块与控制器模块均可学习，并联合训练以同时优化精度与效率。此种训练通过整合反向传播与强化学习来实现。通过在图像分类任务上对多种 D2NN 架构的广泛实验，我们证明了 D2NN 具有通用性与灵活性，并能有效优化精度-效率权衡。
引用
@article{arxiv.1701.00299,
title = {Dynamic Deep Neural Networks: Optimizing Accuracy-Efficiency Trade-offs by Selective Execution},
author = {Lanlan Liu and Jia Deng},
journal= {arXiv preprint arXiv:1701.00299},
year = {2018}
}
备注
fixed typos; updated CIFAR-10 results and added more details; corrected the cascade D2NN configuration details