面向深度卷积网络的原则性设计：提出 SimpNet
摘要
主要的获胜卷积神经网络（CNN），如 VGGNet、ResNet、DenseNet 等，包含数千万至数亿个参数，带来了可观的计算与内存开销。这限制了它们在现实应用中的训练与优化的实际使用。相反，诸如 SqueezeNet 之类的轻量级架构正被提出以解决此问题。然而，它们主要受制于低准确率，因为它们在处理能力与效率之间进行了折中。这些低效大多源于遵循一种临时的设计流程。在本工作中，我们讨论并提出了若干用于高效架构设计的关键设计原则，并阐述了有关设计流程不同方面的直觉。此外，我们引入了一种称为 {\it SAF-pooling} 的新层，以通过选择最佳特征来保持网络简单的同时提升其泛化能力。基于这些原则，我们提出了一种称为 {\it SimpNet} 的简单架构。我们通过实验表明，仅基于这些原始但关键的原则，SimpNet 在计算/内存效率与准确率之间提供了良好的权衡。SimpNet 在多个知名基准上优于更深且更复杂的架构（如 VGGNet、ResNet、WideResidualNet 等），同时参数数量和运算量减少了 2 到 25 倍。我们在标准数据集（如 CIFAR10、CIFAR100、MNIST 和 SVHN）上获得了最先进的结果（就准确率与所涉及参数数量之间的平衡而言）。实现代码可在 \href{url}{https://github.com/Coderx7/SimpNet} 获取。
引用
@article{arxiv.1802.06205,
title = {Towards Principled Design of Deep Convolutional Networks: Introducing SimpNet},
author = {Seyyed Hossein Hasanpour and Mohammad Rouhani and Mohsen Fayyaz and Mohammad Sabokrou and Ehsan Adeli},
journal= {arXiv preprint arXiv:1802.06205},
year = {2018}
}
备注
The Submitted version to the IEEE TIP on December 2017, replaced high resolution images with low-res counterparts due to arXiv size limitation, 19 pages