基于熵启发式强制特征抽象与压缩以缓解深度卷积神经网络的严重过参数化
计算机视觉与模式识别
2021-06-29 v1 机器学习
摘要
ResNet-50、DenseNet-40 和 ResNeXt-56 等卷积神经网络（CNN）存在严重的过参数化问题，随之而来的是模型训练所需计算资源的增加，且随模型深度的增加呈指数级增长。本文提出一种基于熵的卷积层估计（EBCLE）启发式方法，该方法鲁棒且简单，却能有效解决 CNN 模型网络深度方面的过参数化问题。EBCLE 启发式方法利用输入数据集熵数据分布的先验知识来确定卷积网络深度的上界，超过该上界后恒等变换普遍存在，对提升模型性能贡献甚微。通过强制特征压缩与抽象来限制深度冗余，可在不降低模型性能的前提下抑制过参数化，同时将训练时间缩短 24.99%–78.59%。我们给出经验证据以强调使用 EBCLE 启发式方法训练的更宽但更浅模型的相对有效性，其保持或优于更窄但更深模型的基线分类准确率。EBCLE 启发式方法与架构无关，基于 EBCLE 的 CNN 模型限制深度冗余，从而提升可用计算资源的利用率。所提出的 EBCLE 启发式方法为研究者分析论证其 CNN 超参数（HP）选择提供了一种有力技术。EBCLE 启发式方法在五个基准数据集（ImageNet32、CIFAR-10/100、STL-10、MNIST）和四种网络架构（DenseNet、ResNet、ResNeXt 和 EfficientNet B0-B2）上进行了 CNN 模型训练的经验验证，并采用适当的统计检验以推断本文所提出的任何结论性主张。
引用
@article{arxiv.2106.14190,
title = {Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic},
author = {Nidhi Gowdra and Roopak Sinha and Stephen MacDonell and Wei Qi Yan},
journal= {arXiv preprint arXiv:2106.14190},
year = {2021}
}
备注
Journal paper, 14 pages, 3 tables, 3 figures