STEPS：联合自监督夜间图像增强与深度估计
计算机视觉与模式识别
2023-02-03 v1
摘要
自监督深度估计近期备受关注，因为它能提升自动驾驶车辆的 3D 感知能力。然而，它本质上依赖于光度一致性假设，该假设在夜间很难成立。尽管已提出多种有监督的夜间图像增强方法，但其在具挑战性的驾驶场景中的泛化性能并不令人满意。为此，我们提出首个联合学习夜间图像增强器和深度估计器的方法，且两个任务均不使用真值。我们的方法通过新提出的不确定像素掩码策略将两项自监督任务紧密交织。该策略源于如下观察：夜间图像不仅受欠曝光区域影响，也受过曝光区域影响。通过对光照图分布拟合一座桥形曲线，两类区域均被抑制，两个任务也自然桥接。我们在两个成熟数据集 nuScenes 和 RobotCar 上对该方法进行了基准测试，并在两者上均展示了最先进的性能。详细的消融实验也揭示了我们方法的机制。最后，为缓解现有数据集真值稀疏的问题，我们基于 CARLA 提供了一个新的照片级真实感增强夜间数据集。它为社区带来了有意义的新挑战。代码、数据和模型见 https://github.com/ucaszyp/STEPS。
引用
@article{arxiv.2302.01334,
title = {STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth Estimation},
author = {Yupeng Zheng and Chengliang Zhong and Pengfei Li and Huan-ang Gao and Yuhang Zheng and Bu Jin and Ling Wang and Hao Zhao and Guyue Zhou and Qichao Zhang and Dongbin Zhao},
journal= {arXiv preprint arXiv:2302.01334},
year = {2023}
}
备注
Accepted by ICRA 2023, Code: https://github.com/ucaszyp/STEPS