基于神经网络的帧间双向预测混合
图像与视频处理
2022-02-08 v1 机器学习
摘要
本文提出一种基于学习的方法来改进视频编码中的双向预测。在常规视频编码方案中，利用已解码参考图像对当前帧进行块的运动补偿是最主要的预测工具。特别是双向预测，即通过对两个不同的运动补偿预测块取平均得到一个块，显著提高了最终的时间预测精度。在此背景下，我们引入一个简单的神经网络来进一步改进混合操作。我们在网络规模和编码器模式选择两方面进行了复杂度平衡。基于最近标准化的 VVC 编解码器进行了大量测试，结果表明在网络规模小于 10k 参数的情况下，随机接入配置下 BD-rate 提升 -1.4%。我们还提出了一种简单的基于 CPU 的实现和直接网络量化，以在传统编解码器框架中评估复杂度/增益的权衡。
引用
@article{arxiv.2202.03149,
title = {Neural Network based Inter bi-prediction Blending},
author = {Franck Galpin and Philippe Bordes and Thierry Dumas and Pavel Nikitin and Fabrice Le Leannec},
journal= {arXiv preprint arXiv:2202.03149},
year = {2022}
}