面向视频质量增强的压缩实现深度结构网络
计算机视觉与模式识别
2024-08-21 v4 图像与视频处理
摘要
本文聚焦于压缩视频的质量增强任务。尽管基于深度网络的视频恢复器取得了令人瞩目的进展，但现有大多数方法缺乏结构化的设计来最优地利用压缩编解码器中的先验信息。由于视频的质量退化主要由压缩算法引起，因此迫切需要一种新的范式来实现更“有意识”的质量增强过程。为此，我们提出了压缩实现深度结构网络（CRDS），引入了与经典压缩编解码器中三个主要过程对齐的三种归纳偏置，融合了经典编码器架构的优势与深度网络的能力。受编解码器中残差提取和域变换过程的启发，我们提出了一种预训练的潜在退化残差自编码器，将视频帧转换到潜在特征空间，并集成了互邻域注意力机制以实现精确的运动估计和残差提取。此外，借鉴编解码器的量化噪声分布，CRDS提出了一种新颖的带有中间监督的渐进式去噪框架，将质量增强分解为一系列更简单的去噪子任务。在LDV 2.0和MFQE 2.0等数据集上的实验结果表明，我们的方法超越了当前最先进的模型。
引用
@article{arxiv.2405.06342,
title = {Compression-Realized Deep Structural Network for Video Quality Enhancement},
author = {Hanchi Sun and Xiaohong Liu and Xinyang Jiang and Yifei Shen and Dongsheng Li and Xiongkuo Min and Guangtao Zhai},
journal= {arXiv preprint arXiv:2405.06342},
year = {2024}
}