RDFC-GAN：用于室内深度补全的 RGB-深度融合 CycleGAN
摘要
在室内场景中捕获的原始深度图像由于传感器和环境的固有局限，频繁呈现大量缺失值。例如，透明材料常被深度传感器漏检；表面因其抛光纹理、较远距离以及来自传感器的斜入射角而引入测量误差。不完整深度图的存在给后续视觉应用带来显著挑战，促使众多深度补全技术被开发以缓解此问题。许多方法擅长从稀疏采样重建稠密深度图，但面对大范围连续缺失深度区域时往往表现不佳，而这是室内环境中普遍且关键的挑战。为克服这些挑战，我们设计了一种名为 RDFC-GAN 的新型双分支端到端融合网络，其以一对 RGB 与不完整深度图像为输入，预测稠密且补全的深度图。第一分支采用编码器-解码器结构，遵循曼哈顿世界假设并利用来自 RGB-D 信息的法线图作为引导，从原始深度图回归局部稠密深度值。另一分支应用 RGB-深度融合 CycleGAN，善于将 RGB 图像翻译为细节丰富、带纹理的深度图，同时通过循环一致性确保高保真度。我们通过称为 W-AdaIN 的自适应融合模块融合两分支，并借助伪深度图训练模型。在 NYU-Depth V2 与 SUN RGB-D 数据集上的综合评估表明，我们的方法显著提升了深度补全性能，尤其在真实室内场景中。
引用
@article{arxiv.2306.03584,
title = {RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion},
author = {Haowen Wang and Zhengping Che and Yufan Yang and Mingyuan Wang and Zhiyuan Xu and Xiuquan Qiao and Mengshi Qi and Feifei Feng and Jian Tang},
journal= {arXiv preprint arXiv:2306.03584},
year = {2026}
}
备注
Haowen Wang and Zhengping Che are with equal contributions. Paper accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). An earlier version has been accepted by CVPR 2022 (arXiv:2203.10856). arXiv admin note: text overlap with arXiv:2203.10856