ZeroScatter：面向散射介质中远距离成像与视觉的域迁移方法
计算机视觉与模式识别
2021-04-01 v2
摘要
包括雪、雨和雾在内的恶劣天气条件对人类和计算机视觉都构成重大挑战。处理这些环境条件对于安全决策至关重要，尤其在自动驾驶车辆、机器人和无人机中。然而，当今大多数有监督的成像与视觉方法依赖于在真实世界中收集的训练数据，这些数据偏向于良好天气条件，浓雾、雪和暴雨在这些数据集中属于离群值。在没有训练数据，更不用说配对数据的情况下，现有自动驾驶车辆常将自己限制在良好条件下，并在检测到浓雾或雪时停止。在这项工作中，我们通过结合合成与间接监督来解决有监督训练数据缺乏的问题。我们提出 ZeroScatter，一种将恶劣天气下仅 RGB 的捕获转换为清晰白天场景的域迁移方法。ZeroScatter 以联合方式利用基于模型、时间、多视角、多模态和对抗性的线索，使我们能够在未配对、有偏的数据上训练。我们在真实捕获上评估了所提方法，并且所提方法在受控雾室测量上以 2.8 dB PSNR 优于现有单目去散射方法。
引用
@article{arxiv.2102.05847,
title = {ZeroScatter: Domain Transfer for Long Distance Imaging and Vision through Scattering Media},
author = {Zheng Shi and Ethan Tseng and Mario Bijelic and Werner Ritter and Felix Heide},
journal= {arXiv preprint arXiv:2102.05847},
year = {2021}
}
备注
2021 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), project page available at https://light.princeton.edu/publication/zeroscatter/