面向透雨清晰视觉的鲁棒视频内容对齐与补偿
计算机视觉与模式识别
2018-04-26 v1
摘要
基于视觉的室外系统受大气湍流影响，而雨是致使视觉退化的最糟糕因素之一。现有去雨方法或针对复杂动态场景存在局限，或在大暴雨伴不透明遮挡下表现不佳。我们提出一种新颖的去雨框架，其应用超像素（SP）分割将场景分解为深度一致单元。场景内容对齐在 SP 层级完成，被证明对雨遮挡干扰与快速相机运动具有鲁棒性。两个对齐输出张量，即最优时间匹配张量与排序时空匹配张量，为雨纹位置与遮挡背景内容提供了信息线索。我们应用并比较了鲁棒主成分分析（Robust Principle Component Analysis）与卷积神经网络（Convolutional Neural Networks）等不同的经典与新方法来发挥各自在高效利用两张量所提供的丰富时空特征上的优势。大量评估表明，在场景复原 PSNR 上相较最先进方法取得高达 5dB 的优势，且该优势在高度复杂与动态场景中尤为明显。视觉评估显示，所提框架不仅能抑制厚重且不透明的遮挡雨纹，也能抑制大范围半透明区域波动与畸变。
引用
@article{arxiv.1804.09555,
title = {Robust Video Content Alignment and Compensation for Clear Vision Through the Rain},
author = {Jie Chen and Cheen-Hau Tan and Junhui Hou and Lap-Pui Chau and He Li},
journal= {arXiv preprint arXiv:1804.09555},
year = {2018}
}
备注
arXiv admin note: text overlap with arXiv:1803.10433