用于视频复原的两阶段框架的渐进式训练
计算机视觉与模式识别
2023-02-07 v2 多媒体
摘要
作为一个被广泛研究的任务，视频复原旨在提升具有多种潜在退化的视频的质量，例如噪声、模糊和压缩伪影。在视频复原中，压缩视频质量增强和视频超分辨率是具有实际场景重要价值的两个主要方向。近来，由于循环神经网络和 transformer 在序列到序列建模中令人印象深刻的性能，它们在该领域吸引了越来越多的研究兴趣。然而，这些模型的训练不仅代价高昂，而且相对难以收敛，存在梯度爆炸和消失问题。为应对这些问题，我们提出了一种包含多帧循环网络与单帧 transformer 的两阶段框架。此外，开发了迁移学习和渐进式训练等多种训练策略，以缩短训练时间并提升模型性能。得益于上述技术贡献，我们的方案在 NTIRE 2022 压缩视频超分辨率和质量增强挑战赛中赢得了两个冠军和一个亚军。代码见 https://github.com/ryanxingql/winner-ntire22-vqe。
引用
@article{arxiv.2204.09924,
title = {Progressive Training of A Two-Stage Framework for Video Restoration},
author = {Meisong Zheng and Qunliang Xing and Minglang Qiao and Mai Xu and Lai Jiang and Huaida Liu and Ying Chen},
journal= {arXiv preprint arXiv:2204.09924},
year = {2023}
}
备注
Winning two championships and one runner-up in the NTIRE 2022 challenge on super-resolution and quality enhancement of compressed video; Accepted to CVPRW 2022