PP-MSVSR：多阶段视频超分辨率
计算机视觉与模式识别
2021-12-07 v1
摘要
与单图像超分辨率（SISR）任务不同，视频超分辨率（VSR）任务的关键在于充分利用跨帧的互补信息来重建高分辨率序列。由于来自不同帧的图像具有多样的运动与场景，准确对齐多帧并有效融合不同帧一直是VSR任务的关键研究工作。为利用相邻帧丰富的互补信息，本文提出一种多阶段VSR深度架构，称为PP-MSVSR，包含局部融合模块、辅助损失与重对齐模块以逐步精炼增强结果。具体而言，为增强特征传播中跨帧特征的融合，在阶段1设计局部融合模块以在特征传播前执行局部特征融合。此外，在阶段2引入辅助损失使传播模块获得的特征保留更多与HR空间相关的信息，并在阶段3引入重对齐模块以充分利用前一阶段的特征信息。大量实验证实PP-MSVSR在Vid4数据集上取得有前景的性能，仅用1.45M参数即达到28.13dB的PSNR。且PP-MSVSR-L以可观参数量在REDS4数据集上超越所有最先进（state of the art）方法。代码与模型将在PaddleGAN发布。
引用
@article{arxiv.2112.02828,
title = {PP-MSVSR: Multi-Stage Video Super-Resolution},
author = {Lielin Jiang and Na Wang and Qingqing Dang and Rui Liu and Baohua Lai},
journal= {arXiv preprint arXiv:2112.02828},
year = {2021}
}
备注
8 pages, 6 figures, 3 tables