齐次向量胶囊使卷积神经网络中的自适应梯度下降成为可能

胶囊(capsules)是 Geoffrey Hinton 赋予向量值神经元的名称。传统神经网络为激活的神经元产生一个标量值。而胶囊产生一组向量值,Hinton 认为其对应于一个单一的复合特征,其中向量各分量的值表示该特征的变换或对比度等属性。我们提出了一种参数化和训练胶囊的新方法,称之为齐次向量胶囊(HVCs)。我们通过实验证明,将卷积神经网络(CNN)改为使用 HVCs,可在不增加其架构中参数或运算数量的情况下,相比使用单个最终全连接层的 CNN 取得更优的分类准确率。此外,HVCs 的引入使得自适应梯度下降得以使用,降低了模型可达准确率对非自适应优化器精细调优超参数的依赖。我们使用两种神经网络架构展示了我们的方法与结果。第一种是一个极简的整体式 CNN,使用 HVCs 时相比基线架构在 top-1 分类准确率上提升 63%,在 top-5 分类准确率上提升 35%。第二种是称为 Inception v3 的 CNN 架构,无论是否使用 HVCs 均取得相近准确率。此外,使用 HVCs 的简整体式 CNN 在超过 300 个 epoch 后未出现过拟合,而基线在 30 个 epoch 后即出现过拟合。我们在两个网络上均使用了 ImageNet ILSVRC 2012 分类挑战数据集。