深度 CNN 的优化景观与表达能力

我们分析了具有权值共享与最大池化层的实用深度卷积神经网络（CNNs）的损失景观与表达能力。我们证明此类 CNN 在“宽”层（其神经元数多于训练样本数）产生线性独立特征。该条件对例如 VGG 网络成立。此外，对此类宽 CNN，我们给出了零训练误差全局极小值的充要条件。对于宽层后接全连接层的情况，我们证明经验损失的几乎所有临界点都是零训练误差的全局极小值。我们的分析表明深度与宽度在深度学习中均十分重要。深度带来更强的表示能力并允许网络学习高层特征，而宽度平滑了损失函数的优化景观——在某种意义上，足够宽的网络具有良好表现的损失曲面，几乎不存在糟糕的局部极小值。