基于通道级 NNK 图的卷积神经网络中的通道冗余与重叠
机器学习
2021-10-25 v1 计算机视觉与模式识别
摘要
卷积神经网络(CNN)深层中的特征空间通常维度很高且难以解释。然而,卷积层由多个通道组成,这些通道由不同类型的输入激活,这表明通过研究通道及其相互关系可能获得更多洞见。本文首先从理论上分析通道级非负核(CW-NNK)回归图,该图使我们能够量化通道之间的重叠,并间接量化数据表示流形的内在维度。我们发现通道间的冗余显著,且随层深度和训练过程中的正则化水平而变化。此外,我们观察到最后一层卷积层中的通道重叠与泛化性能之间存在相关性。我们的实验结果表明,这些技术有助于更好地理解深度表示。
引用
@article{arxiv.2110.11400,
title = {Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs},
author = {David Bonet and Antonio Ortega and Javier Ruiz-Hidalgo and Sarath Shekkizhar},
journal= {arXiv preprint arXiv:2110.11400},
year = {2021}
}
备注
Under review at ICASSP