面向视频压缩的分层质量与循环增强学习
图像与视频处理
2020-08-05 v7 计算机视觉与模式识别
摘要
本文提出一种具有三个分层质量层与循环增强网络的分层学习视频压缩（HLVC）方法。第一层中的帧以最高质量通过图像压缩方法压缩。以这些帧为参考，我们提出双向深度压缩（BDDC）网络以相对较高质量压缩第二层。随后，第三层帧以最低质量由所提单运动深度压缩（SMDC）网络压缩，该网络采用单一运动图估计多帧运动，从而节省运动信息比特。在我们的深度解码器中，我们开发了加权循环质量增强（WRQE）网络，其以压缩帧与比特流为输入。在 WRQE 的循环单元中，记忆与更新信号由质量特征加权，以合理利用多帧信息用于增强。在我们的 HLVC 方法中，分层质量有益于编码效率，因为高质量信息分别在编码器与解码器端促进了低质量帧的压缩与增强。最后，实验验证我们的 HLVC 方法推进了深度视频压缩方法的 SOTA，并在 PSNR 与 MS-SSIM 两方面均优于 x265 的“低延迟 P（LDP）极快”模式。项目页面位于 https://github.com/RenYang-home/HLVC。
引用
@article{arxiv.2003.01966,
title = {Learning for Video Compression with Hierarchical Quality and Recurrent Enhancement},
author = {Ren Yang and Fabian Mentzer and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2003.01966},
year = {2020}
}
备注
Published in CVPR 2020; corrected a minor typo in the footnote of Table 1; corrected Figure 11