基于3D感知与几何一致性的自监督深度补全
计算机视觉与模式识别
2023-12-27 v1
摘要
深度补全旨在从稀疏深度测量预测密集深度图，在许多计算机视觉相关应用中起着关键作用。深度学习方法在此任务中已展现出压倒性的成功。然而，不依赖通常昂贵的地面真值数据的高精度深度补全仍然具有挑战性。原因在于大多数先前无监督解决方案忽略了3D结构信息，导致不准确的空间传播和混合深度问题。为了缓解上述挑战，本文探索利用3D感知特征和多视图几何一致性来设计一种高精度自监督深度补全方法。首先，构建了一个3D感知空间传播算法，采用点云表示和注意力加权机制，在迭代深度传播过程中捕获更合理和有利的邻域特征。其次，显式地结合相邻视图之间的多视图几何约束，以自监督方式指导整个深度补全模型的优化。在NYU-Depthv2和VOID基准数据集上的大量实验表明，与其他无监督方法相比，所提出的模型实现了最先进的深度补全性能，并且与先前有监督方法相比具有竞争性能。
引用
@article{arxiv.2312.15263,
title = {Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency},
author = {Yu Cai and Tianyu Shen and Shi-Sheng Huang and Hua Huang},
journal= {arXiv preprint arXiv:2312.15263},
year = {2023}
}
备注
13 pages, 7 figures