可逆残差网络：无需存储激活值的反向传播
计算机视觉与模式识别
2017-07-18 v1 机器学习
摘要
深度残差网络（ResNets）显著推动了图像分类的最先进水平，随着网络变得更深更宽，其性能不断提升。然而，内存消耗成为一个瓶颈，因为在使用反向传播计算梯度时需要存储激活值。我们提出了可逆残差网络（RevNet），这是 ResNets 的一种变体，其中每一层的激活值都可以从下一层精确重构。因此，在反向传播过程中，大多数层的激活值无需存储在内存中。我们在 CIFAR-10、CIFAR-100 和 ImageNet 上展示了 RevNets 的有效性，建立了与同等大小的 ResNets 几乎相同的分类精度，尽管激活存储需求与深度无关。
引用
@article{arxiv.1707.04585,
title = {The Reversible Residual Network: Backpropagation Without Storing Activations},
author = {Aidan N. Gomez and Mengye Ren and Raquel Urtasun and Roger B. Grosse},
journal= {arXiv preprint arXiv:1707.04585},
year = {2017}
}