用于几何感知深度补全的三视角分解
计算机视觉与模式识别
2024-03-25 v1
摘要
深度补全是自动驾驶的一项关键任务，因为它涉及从稀疏且有噪声的深度测量中重建场景的精确三维几何。然而，大多数现有方法要么仅依赖二维深度表示，要么直接结合原始三维点云进行补偿，这仍然不足以捕捉场景的细粒度三维几何。为了应对这一挑战，我们引入了三视角分解（TPVD），这是一个可以显式建模三维几何的新颖框架。具体来说，（1）TPVD巧妙地将原始点云分解为三个二维视图，其中一个对应于稀疏深度输入。（2）我们设计了TPV融合，通过循环的二维-三维-二维聚合来更新二维TPV特征，其中应用了距离感知球面卷积（DASC）。（3）通过自适应地选择TPV亲和邻居，新提出的几何空间传播网络（GSPN）进一步提高了几何一致性。因此，我们的TPVD在KITTI、NYUv2和SUN RGBD上优于现有方法。此外，我们构建了一个名为TOFDC的新型深度补全数据集，该数据集由智能手机上的飞行时间（TOF）传感器和彩色相机采集。项目页面：https://yanzq95.github.io/projectpage/TOFDC/index.html
引用
@article{arxiv.2403.15008,
title = {Tri-Perspective View Decomposition for Geometry-Aware Depth Completion},
author = {Zhiqiang Yan and Yuankai Lin and Kun Wang and Yupeng Zheng and Yufei Wang and Zhenyu Zhang and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2403.15008},
year = {2024}
}
备注
Accepted to CVPR 2024