用于深度视频修复的复制粘贴网络
计算机视觉与模式识别
2019-09-02 v1
摘要
我们提出一种基于深度学习的视频修复新算法。视频修复是补全视频中损坏或缺失区域的过程。与图像修复相比，视频修复因额外的时序信息以及维持时间一致性的需求而具有额外挑战。我们提出一种称为复制粘贴网络（Copy-and-Paste Networks）的基于 DNN 的视频修复新框架，其利用视频其他帧中的附加信息。该网络被训练为复制参考帧中的相应内容并粘贴以填充目标帧中的孔洞。我们的网络还包含一个对齐网络，计算帧间仿射矩阵用于对齐，使网络能从更远的帧获取信息以提升鲁棒性。我们的方法生成视觉愉悦且时间连贯的结果，同时比最先进的基于优化的方法运行更快。此外，我们扩展框架以增强视频中过曝/欠曝帧。利用该增强技术，我们显著提升了道路视频中的车道检测精度。
引用
@article{arxiv.1908.11587,
title = {Copy-and-Paste Networks for Deep Video Inpainting},
author = {Sungho Lee and Seoung Wug Oh and DaeYeun Won and Seon Joo Kim},
journal= {arXiv preprint arXiv:1908.11587},
year = {2019}
}
备注
ICCV 2019