$ShiftwiseConv:$ 具有大卷积核效应的小卷积核
计算机视觉与模式识别
2025-03-14 v2
摘要
在各种视觉任务中，大卷积核使得标准卷积神经网络（CNN）再次超越了 Transformer 架构。尽管如此，近期围绕增大卷积核尺寸进行精心设计的研究显示出收益递减或性能停滞。因此，影响模型性能的大卷积核的隐藏因素仍未被探索。在本文中，我们揭示了大卷积核的关键隐藏因素可概括为两个独立组件：在特定粒度上提取特征和通过多路径融合特征。为此，我们利用多路径长距离稀疏依赖关系，通过所提出的具有纯 CNN 架构的 Shiftwise (SW) 卷积算子来增强特征利用率。在分类、分割和检测等广泛的视觉任务中，SW 超越了 SOTA 的 Transformer 和 CNN 架构，包括 SLaK 和 UniRepLKNet。更重要的是，我们的实验表明， 卷积可以替代现有大卷积核 CNN 中的大卷积以实现相当的效果，这可能会启发后续工作。代码和所有模型见 https://github.com/lidc54/shift-wiseConv。
关键词
引用
@article{arxiv.2401.12736,
title = {$ShiftwiseConv:$ Small Convolutional Kernel with Large Kernel Effect},
author = {Dachong Li and Li Li and Zhuangzhuang Chen and Jianqiang Li},
journal= {arXiv preprint arXiv:2401.12736},
year = {2025}
}
备注
CVPR 2025