面向流引导视频修复的误差补偿框架
计算机视觉与模式识别
2022-07-22 v1 机器学习
摘要
视频修复的关键在于利用尽可能多参考帧的相关性信息。现有基于光流传播的方法将视频合成过程拆分为多个步骤：光流补全 -> 像素传播 -> 合成。然而，其显著缺陷在于每一步的误差会在下一步中持续累积并放大。为此，我们提出一种面向流引导视频修复的误差补偿框架(ECFVI)，其兼具基于光流方法的优势并弥补其弱点。我们通过新设计的流补全模块以及利用误差引导图的误差补偿网络来克服上述弱点。我们的方法大幅提升了修复视频的时间一致性与视觉质量。实验结果表明，与当前最优(SOTA)方法相比，所提方法性能更优且速度提升 6 倍。此外，我们通过弥补现有测试数据集的不足，提出了一个新的评测基准数据集。
引用
@article{arxiv.2207.10391,
title = {Error Compensation Framework for Flow-Guided Video Inpainting},
author = {Jaeyeon Kang and Seoung Wug Oh and Seon Joo Kim},
journal= {arXiv preprint arXiv:2207.10391},
year = {2022}
}
备注
ECCV2022 accepted