GCNDepth：基于图卷积网络的自监督单目深度估计
计算机视觉与模式识别
2021-12-14 v1
摘要
深度估计是3D重建中一项具有挑战性的任务，用于增强环境感知的精确传感。本工作带来了一组改进的新解决方案，与现有方法相比，提升了对深度图的定量与定性理解。近来，卷积神经网络(CNN)在从单目视频估计深度图方面展现了非凡能力。然而，传统CNN不支持拓扑结构，且只能在具有确定尺寸和权重的规则图像区域上工作。另一方面，图卷积网络(GCN)可处理非欧几里得数据上的卷积，并可应用于拓扑结构内的不规则图像区域。因此，在本文中，为保留物体几何外观与分布，我们旨在利用GCN构建自监督深度估计模型。我们的模型由两个并行自编码器网络组成：第一个是自编码器，依赖于ResNet-50并从输入图像提取特征，以及基于多尺度GCN估计深度图。相应地，第二个网络将用于基于ResNet-18估计两连续帧间的自运动向量（即3D位姿）。估计的3D位姿与深度图将用于构建目标图像。结合了光度、投影与平滑相关的损失函数被用于应对糟糕的深度预测并保留物体的不连续性。特别地，我们的方法在公开的KITTI和Make3D数据集上提供了可比且前景良好的结果，预测精度高达89%，且相较于SOTA方案可训练参数数量减少40%。源代码公开于 https://github.com/ArminMasoumian/GCNDepth.git
引用
@article{arxiv.2112.06782,
title = {GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network},
author = {Armin Masoumian and Hatem A. Rashwan and Saddam Abdulwahab and Julian Cristiano and Domenec Puig},
journal= {arXiv preprint arXiv:2112.06782},
year = {2021}
}
备注
10 pages, Submitted to IEEE transactions on intelligent transportation systems