PENet：面向精确高效的图像引导深度补全
计算机视觉与模式识别
2021-03-19 v3
摘要
图像引导深度补全是从稀疏深度图与高质量图像生成稠密深度图的任务。在该任务中，如何融合颜色与深度模态对取得良好性能起着重要作用。本文提出一种由颜色主导分支与深度主导分支组成的两分支骨干网络，以充分挖掘并融合两种模态。更具体地，一个分支输入彩色图像与稀疏深度图来预测稠密深度图；另一分支以稀疏深度图与前述预测的 depth 图作为输入，同样输出稠密深度图。两分支预测的 depth 图互为补充，因此被自适应融合。此外，我们还提出一种简单的几何卷积层来编码三维几何线索。该几何编码骨干网络在多阶段进行不同模态的融合，从而获得良好的深度补全结果。我们进一步实现了一种空洞且加速的 CSPN++ 来高效细化融合后的深度图。所提出的完整模型在提交时位列 KITTI 深度补全在线排行榜第一，且推理速度远快于大多数排名靠前的方法。本工作的代码已发布于 https://github.com/JUGGHM/PENet_ICRA2021。
引用
@article{arxiv.2103.00783,
title = {PENet: Towards Precise and Efficient Image Guided Depth Completion},
author = {Mu Hu and Shuling Wang and Bin Li and Shiyu Ning and Li Fan and Xiaojin Gong},
journal= {arXiv preprint arXiv:2103.00783},
year = {2021}
}
备注
Accepted by ICRA 2021