SparseDC：基于稀疏非均匀输入的深度补全
计算机视觉与模式识别
2023-12-04 v1
摘要
我们提出 SparseDC，一种用于稀疏且非均匀深度输入的深度补全模型。不同于先前专注于在基准数据集上补全固定分布（如 NYU 含 500 点、KITTI 含 64 线）的方法，SparseDC 专门设计用于处理实际使用中质量较差的深度图。SparseDC 的关键贡献有两点。首先，我们设计一种称为 SFFM 的简单策略，通过以稳定图像特征显式填充不稳定深度特征来提升稀疏输入下的鲁棒性。其次，我们提出双分支特征嵌入器，以预测含可用深度值区域的精确局部几何及无深度区域的准确结构。该嵌入器的关键是一个称为 UFFM 的基于不确定性的融合模块，用于平衡 CNN 与 ViT 提取的局部与长程信息。大量室内外实验证明了我们的框架在面对稀疏非均匀输入深度时的鲁棒性。预训练模型与代码见 https://github.com/WHU-USI3DV/SparseDC。
引用
@article{arxiv.2312.00097,
title = {SparseDC: Depth Completion from sparse and non-uniform inputs},
author = {Chen Long and Wenxiao Zhang and Zhe Chen and Haiping Wang and Yuan Liu and Zhen Cao and Zhen Dong and Bisheng Yang},
journal= {arXiv preprint arXiv:2312.00097},
year = {2023}
}