优化卷积神经网络架构
计算机视觉与模式识别
2024-10-01 v1 机器学习
摘要
卷积神经网络（CNN）被广泛用于应对语音识别、自然语言处理或计算机视觉等挑战性任务。随着 CNN 架构变得更大更复杂，其计算需求增加，导致显著的能源成本，并对其在资源受限设备上的部署构成挑战。在本文中，我们提出了优化卷积神经网络架构（OCNNA），这是一种基于剪枝和知识蒸馏的新型 CNN 优化与构建方法，旨在确立卷积层的重要性。该方案已通过一项详尽的实证研究进行评估，其中包括最著名的数据集（CIFAR-10、CIFAR-100 和 ImageNet）和 CNN 架构（VGG-16、ResNet-50、DenseNet-40 和 MobileNet），并将精度下降和剩余参数比率设为目标指标，以比较 OCNNA 与其他最先进方法的性能。我们的方法与 20 多种卷积神经网络简化算法进行了比较，获得了出色的结果。因此，OCNNA 是一种具有竞争力的 CNN 构建方法，可促进神经网络在物联网或资源受限设备上的部署。
引用
@article{arxiv.2401.01361,
title = {Optimizing Convolutional Neural Network Architecture},
author = {Luis Balderas and Miguel Lastra and José M. Benítez},
journal= {arXiv preprint arXiv:2401.01361},
year = {2024}
}