复杂场景的视频修复
计算机视觉与模式识别
2017-12-08 v2 多媒体
图像与视频处理
数值分析
摘要
我们提出了一种自动视频修复算法,该算法依赖于全局基于块(patch-based)泛函的优化。我们的算法能够处理视频修复中自然出现的各种挑战性情况,例如动态纹理的正确重建、多个移动物体以及移动背景。此外,与现有技术(state-of-the-art)相比,我们将执行时间减少了一个数量级。我们还能够在高清视频上获得高质量的结果。最后,我们提供了具体的算法细节,以使我们的算法尽可能易于实现。所得算法除了定义修复掩膜(inpainting mask)外,不需要分割或手动输入,并且能够处理比先前工作更广泛的各种情况。1. 引言。先进的图像和视频编辑技术在图像处理和计算机视觉领域日益普遍,并开始用于媒体娱乐。与视频编辑世界紧密相关的一项常见且困难的任务是图像和视频“修复”(inpainting)。一般而言,这是用其他视觉上令人满意的内容替换图像或视频内容的任务。在图像情况下,该主题已得到广泛研究,以至于面向大众的商用图像修复产品(如 Photoshop 的“内容识别填充”Content Aware fill)已经可用。然而,虽然在视频情况下已取得一些令人印象深刻的结果,但对该主题的研究远不如图像修复广泛。这种相对缺乏研究的情况主要归因于增加的时间维度导致的高时间复杂度。事实上,直到最近才可能在高清视频上产生高质量的修复结果,而且这仅以半自动方式实现。尽管如此,高质量视频修复有许多重要且有用的应用,如电影修复、电影专业后期制作以及个人使用的视频编辑。出于这个原因,我们认为一种自动通用的视频修复算法对学术界和专业社区都极其有用。
引用
@article{arxiv.1503.05528,
title = {Video Inpainting of Complex Scenes},
author = {Alasdair Newson and Andrés Almansa and Matthieu Fradet and Yann Gousseau and Patrick Pérez},
journal= {arXiv preprint arXiv:1503.05528},
year = {2017}
}