从黄昏到黎明：利用视觉基础模型进行自监督夜间立体深度估计
计算机视觉与模式识别
2024-05-21 v1 机器人学
摘要
自监督深度估计算法严重依赖帧间变形关系，在低能见度、光照条件变化的夜间等具有挑战性的场景中，性能会显著下降。针对这一挑战，我们提出了一种算法，旨在实现精确的自监督立体深度估计，尤其关注夜间条件。具体来说，我们使用预训练的视觉基础模型来提取跨挑战性场景的通用特征，并提出了一种高效的方法来匹配和整合来自立体帧的这些特征。此外，为了防止违反光度一致性假设的像素对深度预测产生负面影响，我们提出了一种新颖的掩码方法，旨在滤除此类像素。最后，针对当前深度估计算法评估中的不足，我们提出了新的评估指标。我们在具有挑战性的数据集（包括 Oxford RobotCar 和 Multi-Spectral Stereo）上进行的实验证明了我们方法所带来的稳健改进。代码地址：https://github.com/madhubabuv/dtd
引用
@article{arxiv.2405.11158,
title = {Dusk Till Dawn: Self-supervised Nighttime Stereo Depth Estimation using Visual Foundation Models},
author = {Madhu Vankadari and Samuel Hodgson and Sangyun Shin and Kaichen Zhou Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:2405.11158},
year = {2024}
}
备注
The paper is published at ICRA 2024