残差 CNDS 的压缩模型
计算机视觉与模式识别
2017-06-21 v1
摘要
近年来，卷积神经网络取得了巨大成功。然而，最大化卷积神经网络性能的方法仍处于起步阶段。此外，对卷积神经网络训练所需的大小和时间的优化，距离研究人员的期望还相差甚远。在本文中，我们提出了一种新的卷积神经网络，它结合了几种技术来提升卷积神经网络在速度和大小方面的优化。我们使用了我们之前的模型 Residual-CNDS (ResCNDS)，该模型解决了收敛缓慢、过拟合和退化问题，并对其进行了压缩。生成的模型称为 Residual-Squeeze-CNDS (ResSquCNDS)，我们通过其展示了我们加入残差学习的成熟技术以及压缩卷积神经网络的模型。我们的压缩模型改编自 SQUEEZENET 模型，但我们的模型更具泛化能力，几乎可以应用于任何神经网络模型，并且完全集成到残差学习中，非常成功地解决了退化问题。我们提出的模型在超大规模 MIT Places365-Standard 场景数据集上进行了训练，这支持了我们的假设，即新的压缩模型继承了之前 ResCNDS8 模型的优点，在验证集 Top-1 和 Top-5 上获得了几乎相同的准确率，且大小减小了 87.64%，训练时间加快了 13.33%。
关键词
引用
@article{arxiv.1706.06419,
title = {The Compressed Model of Residual CNDS},
author = {Hussam Qassim and David Feinzimer and Abhishek Verma},
journal= {arXiv preprint arXiv:1706.06419},
year = {2017}
}