用于室内深度补全的 RGB-深度融合 GAN
计算机视觉与模式识别
2022-03-22 v1 人工智能
机器学习
摘要
室内深度传感器捕获的原始深度图像通常由于无法感知透明物体和距离范围有限等固有局限而存在大范围的深度值缺失。不完整的深度图给许多下游视觉任务带来负担，已有越来越多深度补全方法被提出以缓解该问题。虽然大多数现有方法能从稀疏且均匀采样的深度图生成准确的稠密深度图，但它们不适用于补全大块连续缺失的深度值区域，而这种情况常见且关键。本文中，我们设计了一种新颖的双分支端到端融合网络，以一对 RGB 与不完整深度图像为输入，预测稠密且补全后的深度图。第一分支采用编码器-解码器结构，在从 RGB 图像提取的局部引导信息辅助下，从原始深度图回归局部稠密深度值。在另一分支中，我们提出一种 RGB-深度融合 GAN，将 RGB 图像转换为细纹理深度图。我们采用称为 W-AdaIN 的自适应融合模块来跨两分支传播特征，并附加一个置信度融合头以融合两分支输出得到最终深度图。在 NYU-Depth V2 和 SUN RGB-D 上的大量实验表明，我们所提方法明显提升了深度补全性能，尤其在借助伪深度图的更真实室内环境设定下。
引用
@article{arxiv.2203.10856,
title = {RGB-Depth Fusion GAN for Indoor Depth Completion},
author = {Haowen Wang and Mingyuan Wang and Zhengping Che and Zhiyuan Xu and Xiuquan Qiao and Mengshi Qi and Feifei Feng and Jian Tang},
journal= {arXiv preprint arXiv:2203.10856},
year = {2022}
}
备注
CVPR 2022