面向流引导视频修复的端到端框架
图像与视频处理
2022-04-08 v2 计算机视觉与模式识别
摘要
光流能够捕捉跨帧的运动信息,近期视频修复方法通过沿其轨迹传播像素来利用光流。然而,这些方法中手工设计的基于流的流程是分开应用的,从而构成整个修复流水线。因此,这些方法效率较低,且严重依赖早期阶段的中间结果。本文提出一种用于流引导视频修复(Flow-Guided Video Inpainting)的端到端框架(EFGVI),通过精心设计的三个可训练模块,即流补全、特征传播和内容生成模块。这三个模块对应于先前基于流的方法的三个阶段,但可联合优化,从而实现更高效且更有效的修复过程。实验结果表明,所提方法在定性与定量上均优于当前最优(state-of-the-art, SOTA)方法,并展现出良好的效率。代码已发布于 https://github.com/MCG-NKU/E2FGVI。
引用
@article{arxiv.2204.02663,
title = {Towards An End-to-End Framework for Flow-Guided Video Inpainting},
author = {Zhen Li and Cheng-Ze Lu and Jianhua Qin and Chun-Le Guo and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2204.02663},
year = {2022}
}
备注
Accepted to CVPR 2022