具有层复用的卷积神经网络
计算机视觉与模式识别
2019-02-04 v2
摘要
卷积神经网络(CNN)中的卷积层由许多滤波器组成,这些滤波器对输入执行卷积操作、捕捉特定模式并将结果传至下一层。若相同模式也出现在网络更深层,为何不也在那些层中使用相同的卷积滤波器?本文提出一种 CNN 架构——层复用网络(LruNet),其中卷积层被重复使用,无需引入新层即可获得更优性能。该方法带来若干优势:(i) 由于复用层而非引入新层,节省了可观的参数数量;(ii) 因复用层参数仅需获取一次,可降低存储器访问成本(MAC);(iii) 非线性随层复用而增加;(iv) 复用层从网络多个部分获得梯度更新。所提方法在 CIFAR-10、CIFAR-100 与 Fashion-MNIST 数据集上针对图像分类任务进行评估,层复用分别将性能提升 5.14%、5.85% 与 2.29%。源代码与预训练模型已公开可用。
引用
@article{arxiv.1901.09615,
title = {Convolutional Neural Networks with Layer Reuse},
author = {Okan Köpüklü and Maryam Babaee and Stefan Hörmann and Gerhard Rigoll},
journal= {arXiv preprint arXiv:1901.09615},
year = {2019}
}
备注
Computer Vision and Pattern Recognition