从离散卷积层到连续卷积层
机器学习
2020-06-22 v1 计算机视觉与模式识别
机器学习
摘要
卷积神经网络(CNN)中的基本操作是特征图的空间尺寸调整,这通过步幅卷积(下采样)或转置卷积(上采样)实现。此类操作受限于以预定整数步长(步幅)移动的固定滤波器。连续层的空间尺寸由整数比例因子关联,在架构设计时预先确定,并在整个训练和推理过程中保持固定。我们提出一种对常见卷积层的推广,从离散层推广到连续卷积(CC)层。CC 层通过将滤波器表示为在亚像素坐标上学习的连续函数,自然扩展了卷积层。这允许对特征图进行可学习且原则性的尺寸调整,可调整至任意大小,并在尺度间动态且一致地实现。一旦训练完成,CC 层可用于在推理时输出任意选定尺度/大小,该尺度可为非整数且各轴之间可不同。CC 为架构设计带来新的自由度,例如推理时的动态层形状,或尺寸在每层以微小因子渐变的渐进式架构。这带来了许多理想的 CNN 属性、新的架构设计能力以及有用的应用。我们进一步表明,当前卷积层存在固有的错位问题,而 CC 层可缓解该问题。
引用
@article{arxiv.2006.11120,
title = {From Discrete to Continuous Convolution Layers},
author = {Assaf Shocher and Ben Feinstein and Niv Haim and Michal Irani},
journal= {arXiv preprint arXiv:2006.11120},
year = {2020}
}