RMNet：等价移除网络中的残差连接
计算机视觉与模式识别
2021-11-02 v1 机器学习
摘要
尽管残差连接使得训练极深的神经网络成为可能，但其多分支拓扑结构对在线推理并不友好。这促使许多研究者致力于设计在推理时无残差连接的 DNN。例如，RepVGG 在部署时将多分支拓扑重参数化为类 VGG（单分支）模型，在网络相对较浅时表现出优异性能。然而，RepVGG 无法将 ResNet 等价变换为 VGG，因为重参数化方法仅适用于线性块，而非线性层（ReLU）必须置于残差连接之外，这导致表征能力受限，尤其对于更深的网络。本文旨在补救该问题，提出通过对 ResBlock 进行保留与合并（RM）操作，等价地移除原始 ResNet 中的残差连接。具体而言，RM 操作允许输入特征图通过块的同时保留其信息，并在每个块末尾合并所有信息，从而在不改变原始输出的前提下移除残差连接。作为一种插件方法，RM 操作基本具有三点优势：1）其实现使其天然适用于高比率网络剪枝。2）它有助于打破 RepVGG 的深度限制。3）与 ResNet 和 RepVGG 相比，它带来了更优的精度-速度权衡网络（RMNet）。我们相信 RM 操作的思想能为社区未来的模型设计提供诸多启发。代码见：https://github.com/fxmeng/RMNet。
引用
@article{arxiv.2111.00687,
title = {RMNet: Equivalently Removing Residual Connection from Networks},
author = {Fanxu Meng and Hao Cheng and Jiaxin Zhuang and Ke Li and Xing Sun},
journal= {arXiv preprint arXiv:2111.00687},
year = {2021}
}
备注
Equivalently removing residual connection from ResBlock with non-linear layer inside it, towards an efficient plain model