中文

可变形核:针对目标形变自适应调整有效感受野

计算机视觉与模式识别 2020-02-13 v2

摘要

卷积网络无法感知目标的几何变化,这导致模型与数据容量的利用低效。为克服该问题,近期关于形变建模的研究力求在空间上将数据重配置为某种共同排布,从而使语义识别较少受形变影响。这通常通过在图像空间中以学习到的自由形式采样网格增强静态算子来实现,这些网格动态调谐于数据与任务,以自适应感受野。然而,自适应感受野并未真正触及实际目标——对网络真正重要的是“有效”感受野(ERF),它反映了每个像素的贡献程度。因此,设计其他方法在运行时直接自适应 ERF 是自然的。本工作中,我们将一种可能的方案实例化为可变形核(DKs),这是一类新颖且通用的卷积算子,通过直接自适应 ERF 同时保持感受野不变来处理目标形变。我们方法的核心能力是将原始核空间重采样以恢复目标形变。该方法由理论洞察所支撑:ERF 严格由数据采样位置与核值决定。我们将 DKs 实现为刚性核的通用即插即用替代,并进行了一系列实证研究,其结果与我们的理论相符。在多个任务与标准基模型上,我们的方法优于先前在运行时自适应的工作。此外,进一步实验表明其工作机制与先前工作正交且互补。

关键词

引用

@article{arxiv.1910.02940,
  title  = {Deformable Kernels: Adapting Effective Receptive Fields for Object Deformation},
  author = {Hang Gao and Xizhou Zhu and Steve Lin and Jifeng Dai},
  journal= {arXiv preprint arXiv:1910.02940},
  year   = {2020}
}

备注

Project page: http://people.eecs.berkeley.edu/~hangg/deformable-kernels/. Accepted as conference paper in ICLR 2020. First two authors contributed equally