面向跨视角一致的自监督周围深度估计
计算机视觉与模式识别
2024-12-04 v3
摘要
深度估计是自动驾驶的基石，但获取像素级深度ground truth对监督学习具有挑战性。从连续图像进行的自监督周围深度估计（SSSDE）提供了经济实惠的替代方案。虽然之前的SSSDE方法提出了不同的机制来跨图像融合信息，但很少有方法明确考虑跨视角约束，导致性能不佳，尤其在重叠区域。本文提出了一种高效且一致的姿态估计设计，以及两个损失函数以增强跨视角一致性。对于姿态估计，我们仅使用前视图像以减少训练内存并维持姿态估计一致性。第一个损失函数是稠密深度一致性损失，对预测在重叠区域内的深度差进行惩罚。第二个损失函数是多视角重建一致性损失，旨在保持从空间和时空语境下的重建一致性。此外，我们引入了一种新颖的翻转数据增强方法以进一步提高性能。我们的技术使简单神经模型能够在DDAD和nuScenes数据集上实现最先进的性能。最后，我们的方法可以轻松应用于其他方法。代码已公开于 https://github.com/denyingmxd/CVCDepth。
引用
@article{arxiv.2407.04041,
title = {Towards Cross-View-Consistent Self-Supervised Surround Depth Estimation},
author = {Laiyan Ding and Hualie Jiang and Jie Li and Yongquan Chen and Rui Huang},
journal= {arXiv preprint arXiv:2407.04041},
year = {2024}
}
备注
Accepted by IROS2024