用于分类的弹性神经网络
计算机视觉与模式识别
2019-05-31 v4
摘要
在这项工作中，我们提出了一个用于提升任何可能受梯度消失影响的深度神经网络性能的框架。为解决梯度消失问题，我们研究了一种框架，在计算图中每一层之后插入一个中间输出分支，并利用相应的预测损失将梯度馈送至早期层。该框架——我们称之为弹性网络（Elastic network）——在 CIFAR10 和 CIFAR100 数据集上用若干知名网络进行了测试，实验结果表明所提框架在浅层网络（如 MobileNet）和深度卷积神经网络（如 DenseNet）上均提升了准确率。我们也识别了该框架不能提升性能的网络类型并讨论了原因。最后，作为一个副产品，所得网络的计算复杂度可通过依据当前计算预算选择输出分支而以弹性方式调整。
引用
@article{arxiv.1810.00589,
title = {Elastic Neural Networks for Classification},
author = {Yi Zhou and Yue Bai and Shuvra S. Bhattacharyya and Heikki Huttunen},
journal= {arXiv preprint arXiv:1810.00589},
year = {2019}
}
备注
2019 IEEE International Conference on Artificial Intelligence Circuits and Systems