一种用于视频修复的内部学习方法
计算机视觉与模式识别
2019-09-18 v1
摘要
我们提出一种新颖的视频修复算法，其同时生成缺失的外观与运动（光流）信息，该算法建立在近期“深度图像先验”（DIP）之上，DIP 利用卷积网络架构在静态图像中强化合理纹理。在将 DIP 扩展至视频时我们做出两项重要贡献。首先，我们展示无需先验训练也可实现连贯视频修复。我们采取基于内部（视频内）学习的生成式修复方法，不依赖外部视觉数据语料库来训练一个适用于庞大通用视频空间的万能模型。其次，我们展示此类框架可联合生成外观与光流，同时利用这些互补模态确保相互一致性。我们展示利用各视频特有的外观统计可在处理长期一致性这一挑战性问题的同时获得视觉上合理的结果。
引用
@article{arxiv.1909.07957,
title = {An Internal Learning Approach to Video Inpainting},
author = {Haotian Zhang and Long Mai and Ning Xu and Zhaowen Wang and John Collomosse and Hailin Jin},
journal= {arXiv preprint arXiv:1909.07957},
year = {2019}
}
备注
Accepted by ICCV 2019. Website: https://cs.stanford.edu/~haotianz/publications/video_inpainting/