基于 3D 门控卷积与时域 PatchGAN 的自由形式视频修复
计算机视觉与模式识别
2019-07-24 v3
摘要
自由形式视频修复是一项极具挑战性的任务，可广泛用于视频编辑如文字去除。现有的基于块的方法无法处理如人脸等非重复结构，而将基于图像的修复模型直接应用于视频会导致时域不一致（见 http://bit.ly/2Fu1n6b）。在本文中，我们引入一种基于深度学习的自由形式视频修复模型，提出 3D 门控卷积以应对自由形式掩码的不确定性，并提出一种新颖的时域 PatchGAN 损失以增强时域一致性。此外，我们收集视频并设计一种自由形式掩码生成算法，以构建用于视频修复模型训练与评估的自由形式视频修复（FVI）数据集。我们展示了这些组件的益处，在 FaceForensics 与我们的 FVI 数据集上的实验表明我们的方法优于现有方法。相关源代码、全分辨率结果视频及 FVI 数据集可在 Github https://github.com/amjltc295/Free-Form-Video-Inpainting 找到。
引用
@article{arxiv.1904.10247,
title = {Free-form Video Inpainting with 3D Gated Convolution and Temporal PatchGAN},
author = {Ya-Liang Chang and Zhe Yu Liu and Kuan-Ying Lee and Winston Hsu},
journal= {arXiv preprint arXiv:1904.10247},
year = {2019}
}
备注
Accepted to ICCV 2019