BranchyNet：通过深度神经网络提前退出实现快速推理
神经与进化计算
2017-09-07 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络因其能在每个网络层提取越来越好的特征，成为许多学习任务的先进方法。然而，深度网络中额外层带来的性能提升是以增加前馈推理的延迟和能耗为代价的。随着网络不断加深变大，这些成本对于实时和能量敏感的应用变得更加难以承受。为解决此问题，我们提出 BranchyNet，一种新颖的深度网络架构，增强了额外的侧分支分类器。该架构允许大量测试样本在已能高置信度推断时通过这些分支提前退出网络。BranchyNet 利用了如下观察：网络早期层学到的特征通常足以对许多数据点进行分类。对于更困难的样本（预期出现频率较低），BranchyNet 将使用更深层或所有网络层以提供最佳的正确预测可能性。我们使用多个知名网络（LeNet、AlexNet、ResNet）和数据集（MNIST、CIFAR10）研究 BranchyNet 架构，并表明它既能提高准确率又能显著减少网络推理时间。
引用
@article{arxiv.1709.01686,
title = {BranchyNet: Fast Inference via Early Exiting from Deep Neural Networks},
author = {Surat Teerapittayanon and Bradley McDanel and H. T. Kung},
journal= {arXiv preprint arXiv:1709.01686},
year = {2017}
}