具有时间约束的特征对齐视频雨滴去除
计算机视觉与模式识别
2022-05-31 v1 人工智能
摘要
现有的附着雨滴去除方法聚焦于雨滴位置的检测,然后使用修复技术或生成网络恢复雨滴背后的背景。然而,由于附着雨滴在尺寸和外观上多样,对单图像和视频而言检测都具挑战性。此外,与雨纹不同,附着雨滴往往在若干帧中覆盖同一区域。针对这些问题,我们的方法采用两阶段基于视频的雨滴去除方法。第一阶段为单图像模块,生成初始干净结果。第二阶段为多帧模块,利用时间约束进一步细化初始结果,即在我们的过程中利用多输入帧并施加相邻输出帧间的时间一致性。我们的单图像模块采用雨滴去除网络生成初始雨滴去除结果,并创建表示输入与初始输出之间差异的掩码。一旦获得连续帧的掩码和初始结果,我们的多帧模块在图像和特征层面对齐帧,然后获得干净背景。我们的方法先采用光流对齐帧,然后利用可变形卷积层进一步实现特征级帧对齐。为去除小雨滴并恢复正确背景,从相邻帧预测目标帧。提出了一系列无监督损失,使得我们的第二阶段即视频雨滴去除模块能从无真值的视频数据中自学。在真实视频上的实验结果表明,我们的方法在定量和定性上均达到了最先进的性能。
引用
@article{arxiv.2205.14574,
title = {Feature-Aligned Video Raindrop Removal with Temporal Constraints},
author = {Wending Yan and Lu Xu and Wenhan Yang and Robby T. Tan},
journal= {arXiv preprint arXiv:2205.14574},
year = {2022}
}