深度视频先验用于视频一致性与传播
计算机视觉与模式识别
2022-01-28 v1 人工智能
摘要
将图像处理算法独立应用于每个视频帧常导致结果视频的时间不一致。为解决此问题，我们提出一种新颖且通用的盲视频时间一致性方法。我们的方法仅直接在原始视频与处理后视频对上训练，而非使用大型数据集。与多数先前利用光流强制时间一致性的方法不同，我们表明通过对视频用深度视频先验（Deep Video Prior, DVP）训练卷积神经网络即可实现时间一致性。此外，提出一种精心设计的迭代重加权训练策略以解决具有挑战性的多模态不一致问题。我们在 7 项视频计算机视觉任务上展示了方法的有效性。大量定量与感知实验表明，我们的方法在盲视频时间一致性上优于 SOTA 方法。我们进一步将 DVP 扩展至视频传播，并展示其在传播三类信息（颜色、艺术风格与对象分割）上的有效性。还提出一种带伪标签的渐进传播策略以增强 DVP 在视频传播上的性能。我们的源代码公开于 https://github.com/ChenyangLEI/deep-video-prior。
引用
@article{arxiv.2201.11632,
title = {Deep Video Prior for Video Consistency and Propagation},
author = {Chenyang Lei and Yazhou Xing and Hao Ouyang and Qifeng Chen},
journal= {arXiv preprint arXiv:2201.11632},
year = {2022}
}
备注
Accepted by TPAMI in Dec 2021; extension of NeurIPS2020 Blind Video Temporal Consistency via Deep Video Prior. arXiv admin note: substantial text overlap with arXiv:2010.11838