基于流的帧间条件编码用于 YUV 4:2:0 内容的学习型视频压缩
图像与视频处理
2022-10-18 v1 计算机视觉与模式识别
机器学习
摘要
本文提出一种基于学习的视频压缩框架，用于 YUV 4:2:0 内容的可变码率编码。大多数现有的基于学习的视频压缩模型采用传统的基于混合的编码架构，即先进行时间预测再进行残差编码。然而，近期研究表明，从信息论角度看残差编码是次优的。此外，大多数现有模型是针对 RGB 内容优化的。而且，它们需要独立的模型来实现可变码率编码。为解决这些问题，本工作尝试将帧间条件编码引入 YUV 4:2:0 内容。我们引入一种基于条件流的帧间编码器以提高帧间编码效率。为使我们的编解码器适应 YUV 4:2:0 内容，我们采用空间到深度和深度到空间转换的简单策略。最后，我们采用码率自适应网络，无需训练多个模型即可实现可变码率编码。实验结果表明，在 PSNR-YUV 指标上，我们的模型在 UVG 和 MCL-JCV 数据集上优于 x265。然而，在来自 ISCAS'22 GC 的更具挑战性的数据集上，仍有很大改进空间。这种性能不足是由于在大 GOP 尺寸下帧间编码能力的缺乏，可通过增大模型容量和应用误差传播感知训练策略来缓解。
引用
@article{arxiv.2210.08225,
title = {Learned Video Compression for YUV 4:2:0 Content Using Flow-based Conditional Inter-frame Coding},
author = {Yung-Han Ho and Chih-Hsuan Lin and Peng-Yu Chen and Mu-Jung Chen and Chih-Peng Chang and Wen-Hsiao Peng and Hsueh-Ming Hang},
journal= {arXiv preprint arXiv:2210.08225},
year = {2022}
}
备注
Accepted by ISCAS 2022