看清世界:面向运动相机的污染物伪影去除
计算机视觉与模式识别
2021-04-20 v1
摘要
附着在相机镜头上的灰尘、污渍和水分等污染物会极大影响所成图像或视频的质量与清晰度。在本文中,我们提出一种视频复原方法,可自动去除这些污染物并生成干净视频。我们的方法首先寻求检测指示需修复区域的注意力图。为了利用相邻帧中对应的干净像素,我们提出一种流补全模块,将背景场景的光流幻觉化至被污染物退化的注意力区域。在注意力图和补全光流的引导下,我们提出一种循环技术,通过从相邻帧获取干净像素来复原输入帧。最后,采用多帧处理阶段对整个视频序列作进一步处理,以强化时间一致性。整个网络在一个近似污染物伪影物理光照属性的合成数据集上训练。该新数据集与我们的新颖框架使我们的方法能够处理不同污染物,并在定性与定量上均优于具有竞争力的复原方法。
引用
@article{arxiv.2104.08852,
title = {Let's See Clearly: Contaminant Artifact Removal for Moving Cameras},
author = {Xiaoyu Li and Bo Zhang and Jing Liao and Pedro V. Sander},
journal= {arXiv preprint arXiv:2104.08852},
year = {2021}
}
备注
10 pages, 11 figures