可逆列网络
计算机视觉与模式识别
2023-02-02 v3
摘要
我们提出了一种新的神经网络设计范式——可逆列网络（RevCol）。RevCol的主体由多个子网络的副本组成，分别称为列，列之间采用多级可逆连接。这种架构方案使RevCol表现出与传统网络截然不同的行为：在前向传播过程中，RevCol中的特征在穿过每一列时被逐渐解耦，其总信息得以保持，而非像其他网络那样被压缩或丢弃。我们的实验表明，CNN风格的RevCol模型在图像分类、目标检测和语义分割等多个计算机视觉任务上都能取得极具竞争力的性能，尤其是在参数量大、数据集大的情况下。例如，经过ImageNet-22K预训练后，RevCol-XL取得了88.2%的ImageNet-1K准确率。在更多预训练数据下，我们最大的模型RevCol-H在ImageNet-1K上达到90.0%，在COCO检测minival集上达到63.8% APbox，在ADE20k分割上达到61.0% mIoU。据我们所知，这是纯（静态）CNN模型中最好的COCO检测和ADE20k分割结果。此外，作为一种通用的宏架构范式，RevCol也可引入到transformers或其他神经网络中，实验证明其在计算机视觉和自然语言处理任务中均能提升性能。我们在 https://github.com/megvii-research/RevCol 发布了代码和模型。
引用
@article{arxiv.2212.11696,
title = {Reversible Column Networks},
author = {Yuxuan Cai and Yizhuang Zhou and Qi Han and Jianjian Sun and Xiangwen Kong and Jun Li and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2212.11696},
year = {2023}
}
备注
Accepted by ICLR 2023