面向YUV 4:2:0内容的带自适应特征调制的习得式分层B帧编码
计算机视觉与模式识别
2023-01-02 v1 机器学习
摘要
本文针对ISCA S 2023基于神经网络的视频编码大挑战,提出了一种习得式分层B帧编码方案。我们具体解决了三个问题,包括(1)B帧编码,(2)YUV 4:2:0编码,以及(3)仅用单一模型的内容自适应变码率编码。多数习得式视频编解码器在RGB域内以P帧编码运行。面向YUV 4:2:0内容的B帧编码很大程度上未被探索。此外,尽管已有基于条件卷积的变码率编码的先前工作,其中多数未考虑内容信息。我们的方案构建于条件增强归一化流(CANF)之上。其具有条件运动与帧间编解码器以实现高效B帧编码。为处理YUV 4:2:0内容,使用两个条件帧间编解码器分别处理Y与UV分量,且UV分量编码额外以Y分量为条件。此外,我们在每个卷积层中引入自适应特征调制,同时考虑内容信息与B帧的编码层级,以实现内容自适应变码率编码。实验结果表明,在PSNR-YUV指标上,我们的模型优于x265及去年挑战赛的冠军。
引用
@article{arxiv.2212.14187,
title = {Learned Hierarchical B-frame Coding with Adaptive Feature Modulation for YUV 4:2:0 Content},
author = {Mu-Jung Chen and Hong-Sheng Xie and Cheng Chien and Wen-Hsiao Peng and Hsueh-Ming Hang},
journal= {arXiv preprint arXiv:2212.14187},
year = {2023}
}