ProPainter：改进传播与 Transformer 的视频修复方法
计算机视觉与模式识别
2023-09-08 v1
摘要
基于光流的传播与时空 Transformer 是视频修复（VI）的两种主流机制。尽管这些组件有效，它们仍存在一些限制性能的局限。先前的基于传播的方法分别在图像域或特征域中独立执行。与学习隔离的全局图像传播可能因不准确的光流导致空间错位。此外，内存或计算约束限制了特征传播与视频 Transformer 的时间范围，阻碍了对远距离帧对应信息的探索。为解决这些问题，我们提出一个改进的框架，称为 ProPainter，其包含增强的 ProPagation 与高效的 Transformer。具体而言，我们引入双域传播，结合图像与特征变形的优势，可靠地利用全局对应关系。我们还提出掩码引导的稀疏视频 Transformer，通过丢弃不必要且冗余的 token 实现高效率。借助这些组件，ProPainter 以 PSNR 大幅提升 1.46 dB 的优势超越先前方法，同时保持可观的效率。
引用
@article{arxiv.2309.03897,
title = {ProPainter: Improving Propagation and Transformer for Video Inpainting},
author = {Shangchen Zhou and Chongyi Li and Kelvin C. K. Chan and Chen Change Loy},
journal= {arXiv preprint arXiv:2309.03897},
year = {2023}
}
备注
Accepted by ICCV 2023. Code: https://github.com/sczhou/ProPainter