GraphCSPN：基于动态 GCN 的几何感知深度补全
计算机视觉与模式识别
2022-10-20 v1 人工智能
摘要
图像引导的深度补全旨在借助对齐的彩色图像，从稀疏深度测量中恢复逐像素的稠密深度图，其在从机器人到自动驾驶的广泛领域均有应用。然而，以往方法并未充分探索稀疏到稠密深度补全的三维本质。在本工作中，我们提出一种基于图卷积的空间传播网络（GraphCSPN）作为深度补全的通用方法。首先，与以往方法不同，我们以互补方式利用卷积神经网络与图神经网络进行几何表示学习。此外，所提网络显式地引入可学习的几何约束，以正则化在三维空间而非二维平面上执行的传播过程。进一步，我们利用特征块序列构建图，并在传播过程中通过边注意力模块动态更新图，从而更好地捕捉局部邻域特征与长距离全局关系。在室内 NYU-Depth-v2 与室外 KITTI 数据集上的大量实验表明，我们的方法达到了 SOTA 性能，尤其是在仅使用少量传播步数的情况下。代码与模型可在项目页面获取。
引用
@article{arxiv.2210.10758,
title = {GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs},
author = {Xin Liu and Xiaofei Shao and Bo Wang and Yali Li and Shengjin Wang},
journal= {arXiv preprint arXiv:2210.10758},
year = {2022}
}
备注
Accepted by ECCV 2022