学习联合时空变换用于视频修复
计算机视觉与模式识别
2020-07-21 v1
摘要
完成视频帧中缺失区域的高质量视频修复是一项有前景却具挑战性的任务。最先进的方法采用注意力模型，通过从参考帧中搜索缺失内容来修复一帧，并进一步逐帧完成整个视频。然而，这些方法可能受沿空间和时间维度不一致的注意力结果影响，常导致视频中的模糊与时空伪影。本文提出学习一个联合时空变换网络(STTN)用于视频修复。具体而言，我们通过自注意力同时填充所有输入帧中的缺失区域，并提议通过时空对抗损失来优化STTN。为展示所提模型的优越性，我们使用标准静止掩码和更真实的移动物体掩码进行了定量与定性评估。演示视频见 https://github.com/researchmm/STTN。
引用
@article{arxiv.2007.10247,
title = {Learning Joint Spatial-Temporal Transformations for Video Inpainting},
author = {Yanhong Zeng and Jianlong Fu and Hongyang Chao},
journal= {arXiv preprint arXiv:2007.10247},
year = {2020}
}
备注
Accepted by ECCV2020