利用环内帧预测推进学习型视频压缩
图像与视频处理
2022-11-21 v3 计算机视觉与模式识别
摘要
近年来，端到端学习型视频压缩受到越来越多的关注。大多数先前工作通过检测并压缩运动图，将参考帧变形至目标帧以利用时间冗余。然而，它们未能充分利用序列参考帧中的历史先验。本文中，我们提出一种带有环内帧预测模块的进阶学习型视频压缩（ALVC）方法，该方法能够从先前已压缩的帧中有效预测目标帧，且不消耗任何码率。预测帧可作为比先前压缩帧更好的参考，从而有益于压缩性能。所提出的环内预测模块是端到端视频压缩的一部分，并在整体框架中联合优化。我们分别提出了用于压缩 P 帧和 B 帧的循环与双向环内预测模块。实验展示了我们的 ALVC 方法在学习型视频压缩中的 SOTA 性能。在 PSNR 方面我们也优于 x265 的默认分层 B 模式，并在 MS-SSIM 上击败了 SSIM 调优 x265 的最慢模式。项目主页：https://github.com/RenYang-home/ALVC。
引用
@article{arxiv.2211.07004,
title = {Advancing Learned Video Compression with In-loop Frame Prediction},
author = {Ren Yang and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2211.07004},
year = {2022}
}