3D 邻域卷积：为 RGB-D 与 RGB 语义分割学习深度感知特征
计算机视觉与模式识别
2019-10-04 v1
摘要
RGB-D 分割的一个关键挑战是如何将深度通道中的 3D 几何信息有效融入 2D 表观特征。我们提出基于 3D 邻域的尺度与局部性对 2D 卷积的有效感受野进行建模。标准卷积在图像空间（）中是局部的，通常具有 3x3 像素的固定感受野。我们提出相对于 3D 真实世界空间（）中的对应点定义局部卷积，其中深度通道用于自适应卷积的感受野，从而使所得滤波器对尺度不变并聚焦于特定深度范围。我们引入 3D 邻域卷积（3DN-Conv），一种围绕 3D 邻域的卷积算子。此外，我们可以利用估计深度，从 RGB 输入使用我们基于 RGB-D 的语义分割模型。实验结果验证了我们所提出的 3DN-Conv 算子在使用真实深度（RGB-D）或估计深度（RGB）时均能改善语义分割。
引用
@article{arxiv.1910.01460,
title = {3D Neighborhood Convolution: Learning Depth-Aware Features for RGB-D and RGB Semantic Segmentation},
author = {Yunlu Chen and Thomas Mensink and Efstratios Gavves},
journal= {arXiv preprint arXiv:1910.01460},
year = {2019}
}