使用反向传播学习神经网络架构
机器学习
2016-08-03 v2 计算机视觉与模式识别
神经与进化计算
摘要
具有数百万参数的深度神经网络是当今许多SOTA机器学习模型的核心。然而，近期工作表明参数少得多的模型也能表现同样好。在这项工作中，我们引入架构学习问题，即学习神经网络架构及其权重。我们引入一种称为三态ReLU的新可训练参数，有助于消除不必要的神经元。我们还提出一种平滑正则化器，鼓励消除后神经元总数较小。所得目标可微且易于优化。我们在小型和大型网络上实验验证我们的方法，并展示它能在不影响预测精度的情况下学习具有相当少参数的模型。
引用
@article{arxiv.1511.05497,
title = {Learning Neural Network Architectures using Backpropagation},
author = {Suraj Srinivas and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:1511.05497},
year = {2016}
}
备注
BMVC 2016 ; Title modified from 'Learning the Architecture of Deep Neural Networks'