残差网络之残差网络：多级残差网络
计算机视觉与模式识别
2017-03-07 v2
摘要
拥有数百乃至数千层的残差网络家族在主要图像识别任务中占据主导地位，但通过简单堆叠残差块来构建网络不可避免地限制了其优化能力。本文提出一种新颖的残差网络架构——残差网络之残差网络（RoR），以挖掘残差网络的优化潜力。RoR 将优化原始残差映射替换为优化残差映射的残差映射。特别地，RoR 在原始残差网络之上添加层级捷径连接，以提升残差网络的学习能力。更重要的是，RoR 可应用于各类残差网络（ResNet、Pre-ResNet 和 WRN）并显著提升其性能。我们的实验证明了 RoR 的有效性和通用性，它在所有类残差网络结构中均取得了最佳性能。我们的 RoR-3-WRN58-4+SD 模型在 CIFAR-10、CIFAR-100 和 SVHN 上取得了新的最优结果，测试误差分别为 3.77%、19.73% 和 1.59%。在 ImageNet 数据集上，RoR-3 模型与 ResNet 相比也取得了最优结果。
引用
@article{arxiv.1608.02908,
title = {Residual Networks of Residual Networks: Multilevel Residual Networks},
author = {Ke Zhang and Miao Sun and Tony X. Han and Xingfang Yuan and Liru Guo and Tao Liu},
journal= {arXiv preprint arXiv:1608.02908},
year = {2017}
}
备注
IEEE Transactions on Circuits and Systems for Video Technology 2017