RigNet++：用于深度补全的语义辅助重复图像引导网络

深度补全旨在从稀疏深度图恢复稠密深度图，常借助彩色图像以辅助该任务。近期深度方法主要关注图像引导学习框架。然而，图像中模糊的引导与深度中不清晰的结构仍制约其性能。为应对这些挑战，我们在图像引导网络中探索了一种重复设计，以逐步且充分地恢复深度值。具体而言，重复体现在图像引导分支与深度生成分支两方面。在前一分支中，我们设计了稠密重复沙漏网络（DRHN）以提取复杂环境的判别性图像特征，从而为深度预测提供强有力的上下文指引。在后一分支中，我们提出基于动态卷积的重复引导（RG）模块，其中引入一种高效的卷积分解以降低复杂度，同时渐进式建模高频结构。此外，在语义引导分支中，我们利用知名大型视觉模型即 segment anything（SAM）为 RG 提供语义先验。我们还提出基于语义先验约束的区域感知空间传播网络（RASPN）以进一步精炼深度。最后，我们采集了一个称为 TOFDC 的新数据集用于深度补全任务，其由智能手机上的飞行时间（TOF）传感器与彩色相机获取。大量实验表明，我们的方法在 KITTI、NYUv2、Matterport3D、3D60、VKITTI 及我们的 TOFDC 上均达到最先进性能。