卷积残差记忆网络
计算机视觉与模式识别
2016-07-15 v3
摘要
极深的卷积神经网络 (CNN) 在各种视觉识别问题上产生了 state of the art 的结果。许多用于图像识别的 state of the art 方法基于远超 100 层的网络，且性能与深度的趋势正朝着超过 1000 层的网络发展。在这种极深的架构中，梯度消失或梯度爆炸问题成为关键。最近的证据还表明，卷积网络可以受益于与 CNN 特征处理层级相互作用的显式构建记忆机制接口。相应地，我们提出并评估了一种基于用长短期记忆机制增强卷积残差网络的记忆机制增强卷积神经网络架构。我们将其称为卷积残差记忆网络。据我们所知，该方法可以在 CIFAR-100 基准上产生 state of the art 的性能，并且在 CIFAR-10 和 SVHN 基准上与其他 state of the art 技术相比表现良好。这是通过使用比没有记忆机制的可比深度 ResNet 具有更广的宽度、小得多的深度和少得多的总体计算量的网络来实现的。我们的实验和分析探索了记忆机制、网络深度、宽度和预测性能的重要性。
引用
@article{arxiv.1606.05262,
title = {Convolutional Residual Memory Networks},
author = {Joel Moniz and Christopher Pal},
journal= {arXiv preprint arXiv:1606.05262},
year = {2016}
}