深度残差轴向网络
计算机视觉与模式识别
2023-03-21 v2 图像与视频处理
摘要
尽管卷积神经网络（CNNs）在计算机视觉任务上表现出色，其计算成本仍然很高。已有若干技术用于降低这些成本，如减少通道数、使用可分离卷积与深度可分离卷积。本文通过引入一种新颖架构——轴向CNN，将空间2D卷积操作替换为两次连续的深度可分离1D操作，从而降低计算成本。轴向CNN基于如下假设：数据集支持近似可分离卷积操作，且训练精度损失极小或无损失。深度轴向可分离CNN在训练深层网络时仍存在梯度问题。我们通过残差连接修改轴向可分离CNN的构造，以提升深度轴向架构的性能，并引入我们最终的新颖架构，即残差轴向网络（RANs）。大量基准评估表明，在CIFAR基准、SVHN和Tiny ImageNet图像分类数据集上，RANs相较ResNets、宽ResNets、MobileNets和SqueezeNexts，以约少77%、86%、75%和34%的参数以及约少75%、80%、67%和26%的浮点运算量，取得了至少1%更高的性能。此外，在图像超分辨率数据集上，我们提出的RANs以少94%的参数改进了深度递归残差网络的性能。
引用
@article{arxiv.2301.04631,
title = {Deep Residual Axial Networks},
author = {Nazmul Shahadat and Anthony S. Maida},
journal= {arXiv preprint arXiv:2301.04631},
year = {2023}
}