通过基于特征值的剪枝深入审视卷积
计算机视觉与模式识别
2022-10-20 v2
摘要
卷积神经网络（CNNs）由于参数共享原理，尽管参数远少于全连接神经网络，却能获得更好的视觉识别性能。现代架构通常包含少量全连接层，常位于末端、多层卷积之后。在某些情况下，大多数卷积可在识别性能无任何损失的情况下被消除。然而，尚无可靠方法来检测负责大部分识别工作的隐藏卷积神经元子集。在本文中，我们将此表述为一个剪枝问题，其目标是在保持原始泛化性能的同时尽可能多地剪枝卷积核。为此，我们使用基于特征值的矩阵特性进行剪枝，并与文献中评估单个卷积核重要性的事实标准（即核的平均绝对权重）进行比较，以阐明广泛用于图像分类问题（使用 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集）的 CNN 家族——即残差神经网络（ResNets）——的内部机制。
引用
@article{arxiv.2102.02804,
title = {A Deeper Look into Convolutions via Eigenvalue-based Pruning},
author = {Ilke Cugu and Emre Akbas},
journal= {arXiv preprint arXiv:2102.02804},
year = {2022}
}
备注
The codes are available at https://github.com/cuguilke/psykedelic