宽残差网络
计算机视觉与模式识别
2017-06-15 v4 机器学习
神经与进化计算
摘要
深度残差网络已被证明能够扩展到数千层且性能仍能提升。然而，每提升零点几个百分点的准确率，代价是层数几乎翻倍，因此训练极深的残差网络存在特征重用递减的问题，这使得这些网络训练非常缓慢。为解决这些问题，本文对 ResNet 模块的架构进行了详细的实验研究，并在此基础上提出了一种新颖的架构，即减少残差网络的深度并增加其宽度。我们将由此产生的网络结构称为宽残差网络（WRNs），并证明它们远优于常用的窄而极深的对应网络。例如，我们证明即使是一个简单的 16 层深的宽残差网络，在准确率和效率上也优于所有先前的深度残差网络，包括千层深的网络，在 CIFAR、SVHN、COCO 上取得了新的最先进结果，并在 ImageNet 上实现了显著改进。我们的代码和模型可在 https://github.com/szagoruyko/wide-residual-networks 获取。
引用
@article{arxiv.1605.07146,
title = {Wide Residual Networks},
author = {Sergey Zagoruyko and Nikos Komodakis},
journal= {arXiv preprint arXiv:1605.07146},
year = {2017}
}