通过单目辅助 iToF 与 RGB 集成实现高精度深度感知

本文提出一种新型的 iToF-RGB 混合框架，以解决间接时间-of-flight（iToF）深度感知的固有局限，如低空间分辨率、有限视场（FoV）以及复杂场景中的结构失真。该方法首先通过精确的几何标定与对齐模块，将狭窄 FoV 的 iToF 深度图重新投影到宽 FoV 的 RGB 坐标系中，确保多模态像素级对应。随后采用双编码器融合网络，联合从重投影后的 iToF 深度与 RGB 图像中提取互补特征，同时依据单目深度先验恢复细粒度结构细节并实现深度超分辨率。通过集成跨模态结构线索和深度一致性约束，本方法实现了深度精度的提升、边缘锐度的改善以及无缝的 FoV 扩展。在大量合成数据与真实数据集上的实验表明，所提框架在精度、结构一致性和视觉质量方面均显著优于当前最先进的方法。