用于视频修复的短期与长期上下文聚合网络
计算机视觉与模式识别
2020-09-15 v1
摘要
视频修复旨在恢复视频中的缺失区域,具有视频编辑、物体移除等诸多应用。然而,现有方法要么受限于不准确的短期上下文聚合,要么很少探索长期帧信息。在这项工作中,我们提出一种新颖的上下文聚合网络,以有效利用短期与长期帧信息用于视频修复。在编码阶段,我们提出边界感知的短期上下文聚合,将从邻近帧中与被修复区域边界上下文紧密相关的局部区域对齐并聚合到目标帧中。此外,我们提出动态长期上下文聚合,利用在整个修复过程中动态更新的长期帧特征,对编码阶段生成的特征图进行全局细化。实验表明,该方法以更好的修复效果和更快的修复速度优于当前最优方法。
引用
@article{arxiv.2009.05721,
title = {Short-Term and Long-Term Context Aggregation Network for Video Inpainting},
author = {Ang Li and Shanshan Zhao and Xingjun Ma and Mingming Gong and Jianzhong Qi and Rui Zhang and Dacheng Tao and Ramamohanarao Kotagiri},
journal= {arXiv preprint arXiv:2009.05721},
year = {2020}
}
备注
Accepted by ECCV 2020 as a spotlight paper