FlexConv：具有可微卷积核大小的连续卷积核卷积
计算机视觉与模式识别
2022-03-18 v3 机器学习
摘要
在设计卷积神经网络（CNN）时，必须在训练前选择卷积核的大小。近期研究表明，CNN在不同层使用不同大小的卷积核会受益，但在实践中探索所有可能的组合是不可行的。一种更有效的方法是在训练期间学习卷积核大小。然而，现有学习卷积核大小的工作带宽有限。这些方法通过膨胀来缩放卷积核，因此它们能描述的细节是有限的。在这项工作中，我们提出了FlexConv，这是一种新颖的卷积运算，通过它可以在固定的参数成本下学习具有可学习卷积核大小的高带宽卷积核。FlexNets在不使用池化的情况下对长期依赖关系进行建模，在多个序列数据集上实现了最先进的性能，优于近期学习卷积核大小的工作，并在图像基准数据集上与更深的ResNets具有竞争力。此外，FlexNets可以部署在比训练期间更高的分辨率上。为了避免混叠，我们提出了一种新颖的卷积核参数化方法，通过该方法可以分析性地控制卷积核的频率。我们新颖的卷积核参数化方法显示出比现有参数化方法更高的描述能力和更快的收敛速度。这带来了分类精度的重要提升。
引用
@article{arxiv.2110.08059,
title = {FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes},
author = {David W. Romero and Robert-Jan Bruintjes and Jakub M. Tomczak and Erik J. Bekkers and Mark Hoogendoorn and Jan C. van Gemert},
journal= {arXiv preprint arXiv:2110.08059},
year = {2022}
}
备注
First two authors contributed equally to this work