利用多个神经网络增强视频编码的帧内预测
图像与视频处理
2020-05-07 v1
摘要
本文利用多个神经网络模式（NM）增强帧内预测。每个NM作为从邻近参考块到当前编码块的端到端映射。针对所提供的NM，我们提出两种方案（附加与替换）将NM与高效视频编码（HEVC）中定义的传统模式（TM）相集成。对于附加方案，每个NM对应于某一范围的TM。TM的分类基于期望预测误差。在确定每个NM的相关TM后，我们提出一种概率感知的模式信令方案。更可能成为最佳模式的NM以更少比特信令。对于替换方案，我们提议替换最高与最低概率的TM。当替换最低概率TM时也采用新的最可能模式（MPM）生成方法。实验结果表明，与单个NM相比，使用多个NM将明显提升编码效率。具体而言，所提带七个NM的附加方案相比前沿工作中使用单个NM，可为Y、U、V分量节省2.6%、3.8%、3.1%的BD-rate。
引用
@article{arxiv.2005.02973,
title = {Enhanced Intra Prediction for Video Coding by Using Multiple Neural Networks},
author = {Heming Sun and Zhengxue Cheng and Masaru Takeuchi and Jiro Katto},
journal= {arXiv preprint arXiv:2005.02973},
year = {2020}
}
备注
Accepted to IEEE Transactions on Multimedia