压缩卷积神经网络模型冗余性的新度量
机器学习
2021-12-10 v1 机器学习
摘要
尽管近来已提出许多设计以在固定资源预算下提升卷积神经网络(CNNs)的模型效率，对这些设计的理论理解仍明显匮乏。本文旨在提供一个新框架以回答以下问题：压缩后的CNN中是否仍存在模型冗余？我们首先通过张量分解给出CNN与压缩CNN的一般统计表述，使得各层权重可汇总为单一张量。随后，通过严格的样本复杂度分析，我们揭示了推导出的样本复杂度与朴素参数计数之间的重要差异，其可作为模型冗余的直接指示。受此发现启发，我们引入一种用于压缩CNN的新模型冗余度量，称为比，其进一步允许非线性激活。该新度量的效用由在流行模块设计与数据集上的消融研究予以支持。
引用
@article{arxiv.2112.04857,
title = {A New Measure of Model Redundancy for Compressed Convolutional Neural Networks},
author = {Feiqing Huang and Yuefeng Si and Yao Zheng and Guodong Li},
journal= {arXiv preprint arXiv:2112.04857},
year = {2021}
}