基于实例卷积的物体感知单目深度预测
计算机视觉与模式识别
2022-02-25 v2 机器学习
摘要
随着深度学习的出现，从单张RGB图像估计深度近期受到大量关注，其能够赋能从机器人路径规划到计算摄影等诸多不同应用。然而，尽管深度图整体相当可靠，物体不连续处的估计仍远不能令人满意。这可归因于卷积算子自然地在物体不连续处聚合特征，导致平滑过渡而非清晰边界。因此，为规避此问题，我们提出了一种新颖的卷积算子，其显式设计为避免不同物体部分的特征聚合。具体而言，我们的方法基于通过超像素估计逐部分深度值。我们所提出的卷积算子（称为“实例卷积”）随后仅基于估计的超像素分别考虑每个物体部分。我们在NYUv2与iBims数据集上的评估清晰表明，实例卷积在遮挡边界处估计深度优于经典卷积，同时在其他区域产生可比结果。代码将在录用后公开。
引用
@article{arxiv.2112.01521,
title = {Object-aware Monocular Depth Prediction with Instance Convolutions},
author = {Enis Simsar and Evin Pınar Örnek and Fabian Manhardt and Helisa Dhamo and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2112.01521},
year = {2022}
}