基于柱形阶段的简洁卷积网络设计
计算机视觉与模式识别
2025-03-11 v2
摘要
在视觉变换器时代，VanillaNet 的近期成功显示了简单简洁卷积神经网络（ConvNet）的巨大潜力。虽然此类模型主要关注运行时性能，但同时也需关注其他方面，如 FLOPs、参数量等，以进一步提升其实用性。为此，我们引入一种新颖的 ConvNet 宏观设计，称为柱形阶段网络（CoSNet）。CoSNet 拥有系统性发展的简单简洁结构、较浅的层数、低参数量、低 FLOPs 以及无注意力操作，非常适合资源受限的部署。CoSNet 的核心新颖性在于：采用输入复制后喂入的较少核数的并行卷积；采用柱形堆叠这些卷积；尽可能减少 1x1 卷积层的使用。我们的全面评估表明，在资源受限场景下，CoSNet 可与许多著名 ConvNet 和 Transformer 设计相抗衡。代码：https://github.com/ashishkumar822/CoSNet
引用
@article{arxiv.2410.04089,
title = {Designing Concise ConvNets with Columnar Stages},
author = {Ashish Kumar and Jaesik Park},
journal= {arXiv preprint arXiv:2410.04089},
year = {2025}
}