面向单目自监督深度估计的多模态尺度一致性与感知
计算机视觉与模式识别
2023-02-03 v1 机器学习
机器人学
摘要
稠密深度估计对于自动驾驶的场景理解至关重要。然而，近期基于单目视频的自监督方法在长序列上存在尺度不一致问题。利用无处不在的全球定位系统（GPS）数据，我们通过提出动态加权的GPS到尺度（g2s）损失来补充基于表观的损失，从而应对该挑战。我们强调，GPS仅需在多模态训练期间使用，推理时不需要。通过GPS获取的帧间相对距离提供了一种独立于相机设置与场景分布的尺度信号，从而产生更丰富的学习特征表示。通过在多个数据集上的广泛评估，我们证明了推理过程中的尺度一致且具尺度感知的深度估计，即便使用低频GPS数据训练也能提升性能。
引用
@article{arxiv.2103.02451,
title = {Multimodal Scale Consistency and Awareness for Monocular Self-Supervised Depth Estimation},
author = {Hemang Chawla and Arnav Varma and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2103.02451},
year = {2023}
}
备注
Accepted at 2021 IEEE International Conference on Robotics and Automation (ICRA)