用于统一单目深度预测与补全的稀疏辅助网络
计算机视觉与模式识别
2021-04-01 v1 机器学习
摘要
从经济高效传感器获取的数据中估计场景几何对机器人与自动驾驶汽车至关重要。本文研究从单张 RGB 图像（单目深度）预测稠密深度的问题，并可选用低成本主动深度传感器的稀疏测量。我们引入稀疏辅助网络（SANs），一种使单目深度网络能同时执行深度预测与补全任务的新模块，具体取决于推理时仅可用 RGB 图像还是同时有稀疏点云。首先，我们使用稀疏卷积解耦图像与深度图编码阶段，仅处理有效深度图像素。其次，当可用时，我们将此信息注入深度预测网络的跳跃连接中以增强其特征。通过在一种室内（NYUv2）与两种室外（KITTI 和 DDAD）基准上的广泛实验分析，我们证明所提 SAN 架构能同时学习两项任务，并以显著优势在深度预测上达到新的 SOTA。
引用
@article{arxiv.2103.16690,
title = {Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion},
author = {Vitor Guizilini and Rares Ambrus and Wolfram Burgard and Adrien Gaidon},
journal= {arXiv preprint arXiv:2103.16690},
year = {2021}
}