具有定向一维核的卷积网络
计算机视觉与模式识别
2023-09-28 v1
摘要
在计算机视觉中，2D 卷积可以说是 ConvNet 执行的最重要的操作。不出所料，它一直是软件和硬件优化的重点，并拥有高效的实现。在这项工作中，我们提出一个有趣的问题：能否让 ConvNet 在没有 2D 卷积的情况下工作？令人惊讶的是，我们发现答案是肯定的——我们展示完全由 1D 卷积组成的 ConvNet 在 ImageNet 分类上可以做得和 2D 一样好。具体而言，我们发现高性能 1D ConvNet 的一个关键要素是定向一维核：不仅水平或垂直，而且在其他角度上定向的 1D 核。我们的实验表明，定向 1D 卷积不仅可以替代 2D 卷积，还能以极小的 FLOPs 增加为大核现有架构提供增强，从而提高精度。本工作的一个关键贡献是针对深度可分离卷积场景专门优化的定向 1D 核的高度优化自定义 CUDA 实现。我们的基准测试表明，该自定义 CUDA 实现几乎完美实现了 1D 卷积的理论优势：对于任意角度，它都比原生水平卷积更快。代码见 https://github.com/princeton-vl/Oriented1D。
引用
@article{arxiv.2309.15812,
title = {Convolutional Networks with Oriented 1D Kernels},
author = {Alexandre Kirchmeyer and Jia Deng},
journal= {arXiv preprint arXiv:2309.15812},
year = {2023}
}