深度流形的局部维数
计算机视觉与模式识别
2017-11-07 v1
摘要
基于我们的观察——全连接层的奇异值或卷积层单个特征图的奇异值存在急剧下降，且拼接特征向量的维数几乎等于各特征图维数之和——我们提出了一种基于奇异值分解（SVD）的方法来估计典型卷积神经网络 VGG19 的深度流形维数。我们从 ImageNet 中选取三类，即波斯猫、集装箱船和火山，并通过目标图像切空间确定深度层深度流形的局部维数。通过多种增广方法，我们发现高斯噪声方法更接近于内蕴维数，因为对图像添加随机噪声时我们是在任意维数中移动，而当增广图像特征矩阵的秩不再增加时，我们就非常接近流形的局部维数。我们还基于各最大池化层的切空间估计了深度流形的维数。我们的结果表明，不同类别的维数彼此接近，并沿卷积层和全连接层迅速下降。此外，我们展示了维数在 Conv5 层内部迅速下降。我们的工作为深度神经网络的内蕴结构提供了新见解，并有助于揭示深度神经网络黑箱的内部组织。
引用
@article{arxiv.1711.01573,
title = {The Local Dimension of Deep Manifold},
author = {Mengxiao Zhang and Wangquan Wu and Yanren Zhang and Kun He and Tao Yu and Huan Long and John E. Hopcroft},
journal= {arXiv preprint arXiv:1711.01573},
year = {2017}
}
备注
11 pages, 11 figures