用于极深网络的加权残差

深度残差网络最近在许多具有挑战性的计算机视觉任务上展现出引人注目的性能。然而，原始的残差结构仍存在一些缺陷，使其难以在极深网络上收敛。在本文中，我们引入加权残差网络，以解决 \texttt{ReLU} 与逐元素加法之间的不兼容性以及深度网络初始化问题。加权残差网络能够高效且有效地学习组合来自不同层的残差。所提出的模型在深度从 100+ 层增加到 1000+ 层时，准确率和收敛性得到持续改善。此外，加权残差网络相比原始残差网络仅增加极少的计算和 GPU 内存负担。网络通过投影随机梯度下降进行优化。在 CIFAR-10 上的实验表明，我们的算法比原始残差网络具有 \emph{更快的收敛速度}，并且使用 1192 层模型达到了 95.3\% 的 \emph{高准确率}。