基于时空融合的驾驶场景视频水珠去除
计算机视觉与模式识别
2023-02-27 v3
摘要
驾驶时挡风玻璃上的水珠会造成严重的视觉遮挡，可能导致车祸。同时，水珠也会降低自动驾驶中计算机视觉系统的性能。为解决这些问题，我们提出了一种基于注意力的框架，融合多帧的时空表征以恢复被水珠遮挡的视觉信息。由于缺乏用于视频水珠去除的训练数据，我们提出了一个大规模合成数据集，其在雨天复杂驾驶场景中模拟了水珠。为提升所提方法的泛化性，我们采用结合合成视频与真实图像的跨模态训练策略。大量实验表明，我们的方法泛化良好，并在复杂真实驾驶场景中取得了最佳的水珠去除性能。
引用
@article{arxiv.2302.05916,
title = {Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes},
author = {Qiang Wen and Yue Wu and Qifeng Chen},
journal= {arXiv preprint arXiv:2302.05916},
year = {2023}
}