一种端到端级联图像去雨与目标检测神经网络
计算机视觉与模式识别
2022-02-24 v1 图像与视频处理
摘要
尽管基于深度学习的图像去雨方法近年来取得重大进展，其在真实场景应用中仍存在两个主要缺陷。首先，以去雨为代表的底层视觉任务与以目标检测为代表的高层视觉任务之间差距显著，且底层视觉任务几乎难以对高层视觉任务有所助益。其次，去雨数据集的质量有待提升。事实上，许多基线中的雨线与真实雨线差距较大，且去雨数据集图像分辨率普遍不够理想。同时，兼顾底层视觉任务与高层视觉任务的通用数据集甚少。本文中，我们探索底层视觉任务与高层视觉任务的结合。具体而言，我们提出一种端到端目标检测网络以减轻降雨影响，其由分别改进的 image deraining 网络与目标检测网络两个级联网络组成。我们还设计了损失函数的各组成部分以适应不同子网络的特征。随后，我们基于 KITTI 数据集提出一个用于降雨去除与目标检测的数据集，我们的网络在该数据集上以指标上的显著提升超越 SOTA。此外，我们所提网络在自动驾驶车辆采集的行驶视频上进行了测评，并展现出积极的去雨与目标检测结果。
引用
@article{arxiv.2202.11279,
title = {An End-to-End Cascaded Image Deraining and Object Detection Neural Network},
author = {Kaige Wang and Tianming Wang and Jianchuang Qu and Huatao Jiang and Qing Li and Lin Chang},
journal= {arXiv preprint arXiv:2202.11279},
year = {2022}
}