当太阳落下：修复全天气深度估计中的光度损失
计算机视觉与模式识别
2022-06-29 v1 机器人学
摘要
用于联合深度与自运动估计的自监督深度学习方法可以在不需要真实训练数据的情况下产生准确的轨迹。然而，由于它们通常使用光度损失，当这些损失所做的假设（例如时间光照一致性、静态场景以及无噪声和遮挡）被违背时，其性能会显著下降。这限制了它们在例如夜间序列中的使用，夜间序列往往包含许多点光源（包括动态物体上的）以及较暗图像区域中低信噪比（SNR）。在本文中，我们展示了如何结合三种技术使现有的光度损失能够同时适用于白天和夜间图像。首先，我们引入逐像素神经强度变换来补偿连续帧之间发生的光照变化。其次，我们预测一个逐像素残差流图，用于修正由网络估计的自运动和深度所引起的重投影对应关系。第三，我们对训练图像去噪以提高我们方法的鲁棒性和准确性。这些改变使我们能够训练一个同时适用于白天和夜间图像的单一模型，而不需要像现有方法那样使用单独编码器或额外的特征网络。我们在具有挑战性的Oxford RobotCar数据集上进行了广泛的实验和消融研究，以证明我们的方法对白天和夜间序列的有效性。
引用
@article{arxiv.2206.13850,
title = {When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation},
author = {Madhu Vankadari and Stuart Golodetz and Sourav Garg and Sangyun Shin and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:2206.13850},
year = {2022}
}