让我们保持简单：使用简单架构优于更深更复杂的架构
计算机视觉与模式识别
2023-04-28 v8 神经与进化计算
摘要
主流的卷积神经网络(CNNs)如 AlexNet、VGGNet、ResNet、GoogleNet 包含数千万至数亿参数，带来了可观的计算与内存开销。这限制了它们在训练、优化和内存效率方面的实际应用。相反，为解决这个问题而提出的轻量架构主要存在精度较低的缺陷。这些低效大多源于遵循特定的临时流程。我们提出一种基于一组设计原则的简单架构，称为 SimpleNet，并通过实验证明，一个精心打造却简单且适度深度的架构能够媲美更深、更复杂的架构。SimpleNet 在计算/内存效率与精度之间提供了良好的权衡。我们简单的 13 层架构在多个知名基准上优于迄今大多数更深、更复杂的架构（如 VGGNet、ResNet 和 GoogleNet），同时参数与操作数减少 2 至 25 倍。这使其非常便于嵌入式系统或受计算与内存限制的系统。我们在 CIFAR10 上取得了优于若干更重架构的最优结果，在 MNIST 上接近最优，在 CIFAR100 和 SVHN 上结果具竞争力。在 ImageNet 数据集上，我们也优于更大更深的架构如 VGGNet 及 ResNet 的流行变体等。模型已发布于：https://github.com/Coderx7/SimpleNet
引用
@article{arxiv.1608.06037,
title = {Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures},
author = {Seyyed Hossein Hasanpour and Mohammad Rouhani and Mohsen Fayyaz and Mohammad Sabokrou},
journal= {arXiv preprint arXiv:1608.06037},
year = {2023}
}
备注
Added the long-overdue ImageNet results and updated the missed cifar10/100 results from 2018