Completion as Enhancement: 一种面向深度完成的 Degradation-Aware Selective Image Guided 网络

本文首次提出 Selective Image Guided Network (SigNet)，一种新颖的 degradation-aware 框架，将深度完成问题转化为深度增强问题。SigNet 超越直接使用卷积神经网络 (CNN) 完成稀疏深度数据的做法，首先通过非 CNN 的 densification 工具对稀疏深度数据进行密集化，以获得粗糙但密集的深度。这种方法消除了对不规则稀疏数据进行卷积导致的 mismatch 和歧义。随后，SigNet 将完成问题重新定义为增强问题，在粗糙深度与目标密集深度之间建立自监督的 degradation 桥接，以实现有效的 RGB-D 融合。为此，SigNet 利用隐式的 degradation 自适应选择 RGB 数据中高频成分（如边缘）来补偿粗糙深度。该 degradation 进一步集成到多模态 conditional Mamba 中，动态生成 state 参数，以实现高效的全局高频信息交互。我们在 NYUv2、DIML、SUN RGBD 和 TOFDC 数据集上进行大量实验，结果表明 SigNet 在深度完成任务上实现了最新水平 (SOTA) 的性能。