用于稀疏深度补全的深度 RGB-D 典型相关分析
计算机视觉与模式识别
2020-03-17 v3
摘要
在本文中，我们提出相关性补全网络（CFCNet），一种端到端深度学习模型，利用两个数据源之间的相关性来执行稀疏深度补全。CFCNet 学习最大程度地捕获 RGB 与深度信息之间语义相关的特征。通过图像像素对和稀疏深度图中可见的测量值，CFCNet 促进不同数据源在特征层面的相互转换。这种转换使 CFCNet 能够根据其对应的、经转换的 RGB 特征来预测缺失深度测量的特征并重建数据。我们将典型相关分析扩展到二维域，并将其表述为我们的训练目标之一（即 2D 深度典型相关，或“2D2CCA loss”）。大量实验验证了我们的 CFCNet 相较于最先进方法在室内外场景及不同真实稀疏模式下的能力与灵活性。代码见：https://github.com/choyingw/CFCNet。
引用
@article{arxiv.1906.08967,
title = {Deep RGB-D Canonical Correlation Analysis For Sparse Depth Completion},
author = {Yiqi Zhong and Cho-Ying Wu and Suya You and Ulrich Neumann},
journal= {arXiv preprint arXiv:1906.08967},
year = {2020}
}
备注
NeurIPS 2019. Code link https://github.com/choyingw/CFCNet