联合参考帧合成与后处理滤波增强用于通用视频编码
图像与视频处理
2024-04-30 v1 计算机视觉与模式识别
摘要
本文提出了用于通用视频编码（VVC）的联合参考帧合成（RFS）和后处理滤波增强（PFE），旨在探索不同基于神经网络的视频编码（NNVC）工具的组合，以更好地利用VVC的分层双向编码结构。RFS和PFE均采用时空增强网络（STENet），该网络接收两个带有伪影的输入帧，并生成两个伪影被抑制的增强帧以及一个中间合成帧。STENet包含两条流水线：合成流水线和增强流水线，分别针对不同目的。在RFS中，两个重建帧被送入STENet的合成流水线，以合成一个类似于当前待编码帧的虚拟参考帧。该合成帧作为额外的参考帧插入参考图像列表（RPL）。在PFE中，两个重建帧被送入STENet的增强流水线，以减轻其伪影和失真，从而得到伪影和失真减少的增强帧。为了降低推理复杂度，我们提出了RFS和PFE的联合推理（JISE），通过单次执行STENet实现。集成到VVC参考软件VTM-15.0中，RFS、PFE和JISE在随机访问（RA）配置下在一个新颖的时空增强窗口（STEW）内协调工作。所提出的方法在RA配置下，对于三个分量平均可实现-7.34%/-17.21%/-16.65%的基于PSNR的BD-rate。
引用
@article{arxiv.2404.18058,
title = {Joint Reference Frame Synthesis and Post Filter Enhancement for Versatile Video Coding},
author = {Weijie Bao and Yuantong Zhang and Jianghao Jia and Zhenzhong Chen and Shan Liu},
journal= {arXiv preprint arXiv:2404.18058},
year = {2024}
}