DO-Conv：深度过参数化卷积层
计算机视觉与模式识别
2020-06-23 v1 图像与视频处理
摘要
卷积层是卷积神经网络的核心构建模块。在本文中，我们提出用一个额外的深度卷积来增强卷积层，其中每个输入通道与不同的 2D 卷积核进行卷积。这两个卷积的组合构成了一种过参数化，因为它增加了可学习参数，而由此产生的线性操作可以由单个卷积层表示。我们将这种深度过参数化卷积层称为 DO-Conv。我们通过大量实验表明，仅将传统卷积层替换为 DO-Conv 层即可提升 CNN 在许多经典视觉任务上的性能，如图像分类、检测和分割。此外，在推断阶段，深度卷积被折叠进传统卷积中，使得计算量精确等效于无过参数化的卷积层。由于 DO-Conv 在不增加任何推断计算复杂度的情况下带来了性能提升，我们提倡将其作为传统卷积层的替代方案。我们在 Tensorflow、PyTorch 和 GluonCV 中开源了 DO-Conv 的参考实现，网址为 https://github.com/yangyanli/DO-Conv。
引用
@article{arxiv.2006.12030,
title = {DO-Conv: Depthwise Over-parameterized Convolutional Layer},
author = {Jinming Cao and Yangyan Li and Mingchao Sun and Ying Chen and Dani Lischinski and Daniel Cohen-Or and Baoquan Chen and Changhe Tu},
journal= {arXiv preprint arXiv:2006.12030},
year = {2020}
}