m-RevNet：具有动量的深度可逆神经网络
计算机视觉与模式识别
2021-08-17 v2 机器学习
摘要
近年来，深度残差网络与一阶常微分方程（ODEs）之间的联系已被揭示。在本工作中，我们进一步将深度神经架构设计与二阶ODEs桥接，提出一种新颖的可逆神经网络，称为m-RevNet，其特点是在残差块中插入动量更新。可逆特性使我们无需访问前向传播的激活值即可执行反向传播，极大缓解了训练过程中的存储负担。此外，基于二阶ODEs的理论基础赋予m-RevNet比普通残差网络更强的表征能力，这潜在地解释了其性能提升。对于某些学习场景，我们从解析与经验上揭示，我们的m-RevNet成功而标准ResNet失败。在多个图像分类与语义分割基准上的综合实验证明了我们的m-RevNet相对于ResNet在存储效率与识别性能上的优越性。
引用
@article{arxiv.2108.05862,
title = {m-RevNet: Deep Reversible Neural Networks with Momentum},
author = {Duo Li and Shang-Hua Gao},
journal= {arXiv preprint arXiv:2108.05862},
year = {2021}
}
备注
idea overlapped with existing work