基于循环自编码器与循环概率模型的视频压缩学习
图像与视频处理
2021-03-18 v4 计算机视觉与模式识别
摘要
过去几年，将深度学习应用于视频压缩引起了越来越多的关注。然而，现有方法仅使用极少数量的参考帧来压缩视频帧，这限制了它们充分利用视频帧间时间相关性的能力。为克服这一缺陷，本文提出一种具有循环自编码器（RAE）和循环概率模型（RPM）的循环学习视频压缩（RLVC）方法。具体而言，RAE 在编码器和解码器中均采用循环单元。因此，大范围帧中的时间信息可用于生成潜在表示并重建压缩输出。此外，所提出的 RPM 网络基于先前潜在表示的分布，循环地估计潜在表示的概率质量函数（PMF）。由于连续帧之间的相关性，条件交叉熵可低于独立交叉熵，从而降低码率。实验表明，我们的方法在 PSNR 和 MS-SSIM 方面均取得了最先进的深度学习视频压缩性能。而且，我们的方法在 PSNR 上优于 x265 的默认低延迟 P（LDP）设置，并且在 MS-SSIM 上也优于经 SSIM 调优的 x265 以及 x265 的最慢设置。代码可在 https://github.com/RenYang-home/RLVC.git 获取。
引用
@article{arxiv.2006.13560,
title = {Learning for Video Compression with Recurrent Auto-Encoder and Recurrent Probability Model},
author = {Ren Yang and Fabian Mentzer and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2006.13560},
year = {2021}
}
备注
Accepted for publication in IEEE Journal of Selected Topics in Signal Processing (J-STSP)