用于视频超分辨率的协同反馈判别传播
计算机视觉与模式识别
2024-04-09 v1
摘要
现有视频超分辨率（VSR）方法成功的关键主要在于探索空间和时间信息，这通常通过带有对齐模块的循环传播模块来实现。然而，不准确的配准通常会导致带有明显伪影的配准特征，这些伪影在传播过程中会不断累积，从而影响视频恢复。此外，传播模块仅向前或向后传播相同时间步的特征，在复杂运动或遮挡情况下可能会失效，限制了其高质量帧恢复的性能。为了解决这些问题，我们提出了一种协同反馈判别（CFD）方法，以纠正不准确的配准特征并建模长程空间和时间信息，从而实现更好的视频重建。具体而言，我们开发了一种判别配准校正（DAC）方法，以自适应地探索信息并减少由不准确配准引起的伪影影响。然后，我们提出了一个协同反馈传播（CFP）模块，该模块利用反馈和门控机制，同时更好地探索来自前向和后向传播的不同时间步特征的空间和时间信息。最后，我们将提出的 DAC 和 CFP 嵌入到常用的 VSR 网络中，以验证我们方法的有效性。在多个基准上的定量和定性实验表明，我们的方法能够提高现有 VSR 模型的性能，同时保持较低的模型复杂度。源代码和预训练模型将在 \url{https://github.com/House-Leo/CFDVSR} 上提供。
引用
@article{arxiv.2404.04745,
title = {Collaborative Feedback Discriminative Propagation for Video Super-Resolution},
author = {Hao Li and Xiang Chen and Jiangxin Dong and Jinhui Tang and Jinshan Pan},
journal= {arXiv preprint arXiv:2404.04745},
year = {2024}
}
备注
Project website: https://github.com/House-Leo/CFDVSR