基于流引导与场景模板的视频修复
计算机视觉与模式识别
2021-08-31 v1 人工智能
摘要
我们考虑填充视频中缺失的时空区域这一问题。我们提出一种新颖的基于流的解决方案，引入图像相对于场景（无缺失区域）的生成模型以及从场景到图像的映射。我们利用该模型联合推断场景模板（场景的二维表示）与映射关系。这确保了所生成的帧间流与底层场景的一致性，减少了基于流的修复中的几何畸变。该模板通过一种新的 L2-L1 插值方案映射到视频中的缺失区域，生成清晰的修复结果并减少常见的模糊与畸变伪影。我们在两个基准数据集上表明，我们的方法在定量指标与用户研究中均优于当前最优方法（SOTA）。
引用
@article{arxiv.2108.12845,
title = {Flow-Guided Video Inpainting with Scene Templates},
author = {Dong Lao and Peihao Zhu and Peter Wonka and Ganesh Sundaramoorthi},
journal= {arXiv preprint arXiv:2108.12845},
year = {2021}
}