使用卷积神经网络纹理分析的 AV1 视频编码
图像与视频处理
2018-04-26 v1
摘要
包括新开发的 AOM/AV1 在内的现代视频编解码器利用混合编码技术来去除空间和时间冗余。然而,以均方误差 (MSE) 度量的统计依赖关系的高效利用并不总能产生最佳的视觉心理结果。一种有趣的方法是仅编码视觉相关信息,并对帧中“感知不显著”的区域使用不同的编码方法,这可以在保持视觉质量的同时大幅降低数据速率。在本文中,我们在编码输入序列之前引入一个纹理分析器,使用卷积神经网络识别帧中与细节无关的纹理区域。我们为 AV1 设计开发了一种称为纹理模式的新编码工具,其中若编码器选择了纹理模式,则对所识别的纹理区域不执行帧间预测。相反,整个区域的位移仅由一组运动参数建模。因此,仅有模型参数被传至解码器以重建纹理区域。帧中的非纹理区域按常规方式编码。我们表明,对于许多标准测试集,所提方法实现了显著的数据速率降低。
引用
@article{arxiv.1804.09291,
title = {AV1 Video Coding Using Texture Analysis With Convolutional Neural Networks},
author = {Di Chen and Chichen Fu and Fengqing Zhu},
journal= {arXiv preprint arXiv:1804.09291},
year = {2018}
}