单张 RGB-D 图像的深度深度补全
计算机视觉与模式识别
2018-05-03 v2
摘要
我们工作的目标是补全 RGB-D 图像的深度通道。商用级深度相机通常无法感知光泽、明亮、透明和远距离表面的深度。为了解决这个问题，我们训练了一个深度网络，该网络以 RGB 图像作为输入，预测稠密的表面法线和遮挡边界。然后将这些预测与 RGB-D 相机提供的原始深度观测值相结合，以求解所有像素的深度，包括原始观测中缺失的像素。基于在一个新的深度补全基准数据集上的大量实验，我们选择了该方法而非其他方法（例如直接对深度进行修复），其中训练数据中的空洞通过多视图 RGB-D 扫描生成的表面重建渲染来填充。针对不同网络输入、深度表示、损失函数、优化方法、修复方法和深度深度估计网络的实验表明，我们提出的方法比这些替代方案提供了更好的深度补全结果。
引用
@article{arxiv.1803.09326,
title = {Deep Depth Completion of a Single RGB-D Image},
author = {Yinda Zhang and Thomas Funkhouser},
journal= {arXiv preprint arXiv:1803.09326},
year = {2018}
}
备注
Accepted by CVPR2018 (Spotlight). Project webpage: http://deepcompletion.cs.princeton.edu/ This version includes supplementary materials which provide more implementation details, quantitative evaluation, and qualitative results. Due to file size limit, please check project website for high-res paper