利用递归卷积网络理解深度架构
机器学习
2014-02-20 v2
摘要
设计卷积网络模型的一个关键挑战是对其进行适当的尺寸设定。这些决策涉及诸多因素，包括层数、特征图数量、卷积核尺寸等。使问题更加复杂的是，这些因素不仅影响激活单元的数量和维度，还影响参数总数。本文重点评估三个关联变量的独立贡献：层数、特征图数量和参数数量。为此，我们采用了一种层间权重共享的递归卷积网络，这使得我们能够在受控环境中分别改变这三个因素。我们发现，虽然增加层数和参数数量均有明显益处，但特征图数量（即表示的维度）似乎处于次要地位，其大部分益处源于引入了更多的权重。我们的结果 (i) 在卷积层的背景下实证确认了仅增加层数即可提升计算能力的观点，并 (ii) 表明精确设定卷积特征图维度本身无需过多关注，而应更多地关注这些层中的参数数量。
引用
@article{arxiv.1312.1847,
title = {Understanding Deep Architectures using a Recursive Convolutional Network},
author = {David Eigen and Jason Rolfe and Rob Fergus and Yann LeCun},
journal= {arXiv preprint arXiv:1312.1847},
year = {2014}
}