空间信息引导卷积用于实时RGBD语义分割
计算机视觉与模式识别
2021-02-24 v2
摘要
已知3D空间信息有益于语义分割任务。大多数现有方法将3D空间数据作为额外输入，导致一个双流分割网络分别处理RGB与3D空间信息。该方案极大增加了推理时间并严重限制其实时应用范围。为解决此问题，我们提出空间信息引导卷积（S-Conv），其可实现高效的RGB特征与3D空间信息融合。S-Conv能够由3D空间信息引导推断卷积核的采样偏移，帮助卷积层调整感受野并适应几何变换。S-Conv还通过生成空间自适应卷积权重将几何信息融入特征学习过程。感知几何的能力大幅提升，而未明显影响参数量与计算成本。我们进一步将S-Conv嵌入名为空间信息引导卷积网络（SGNet）的语义分割网络中，从而在NYUDv2和SUNRGBD数据集上实现实时推理与最先进性能。
引用
@article{arxiv.2004.04534,
title = {Spatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation},
author = {Lin-Zhuo Chen and Zheng Lin and Ziqin Wang and Yong-Liang Yang and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2004.04534},
year = {2021}
}