面向语义分割的深度自适应深度神经网络

本文提出了一种利用深度图进行语义分割的深度自适应深度神经网络。典型的深度神经网络在预定位置接收输入，而不考虑与摄像机的距离。这种固定的感受野对神经网络泛化不同距离物体的特征提出了挑战。具体而言，预定感受野在近距离处过小，反之亦然。为克服这一挑战，我们开发了一种神经网络，它不仅能为每一层，还能为空间位置上的每个神经元自适应调整感受野。为调整感受野，我们提出了深度自适应多尺度（DaM）卷积层，该层由自适应感知神经元和层内多尺度神经元组成。自适应感知神经元利用相应的深度信息调整每个空间位置的感受野。层内多尺度神经元在每个特征空间应用不同大小的感受野，以学习多尺度特征。所提出的DaM卷积被应用于两个全卷积神经网络。我们在公开的RGB-D语义分割数据集和新颖的手-物交互手部分割数据集上验证了所提神经网络的有效性。实验结果表明，所提方法在无需任何额外层或前后处理的情况下，性能优于现有最先进方法。