学习深度网络中的神经元数量

如今，深度网络每层中的层数和神经元数量通常是手动设置的。尽管非常深且宽的网络已被证明总体有效，但它们带来了高昂的内存与计算成本，从而使其在受限平台上不实用。然而，已知这些网络具有许多冗余参数，因此原则上可被更紧凑的架构替代。本文中，我们引入一种在学习过程中自动确定深度网络每层神经元数量的方法。为此，我们提出在学习过程中利用结构化稀疏性。更确切地说，我们对网络参数使用组稀疏正则化器，其中每组被定义为作用于单个神经元。从过完备网络出发，我们表明该方法能减少多达 80\% 的参数数量，同时保持甚至提高网络精度。