基于卷积神经网络的AV1纹理建模
图像与视频处理
2019-08-09 v1
摘要
包括新开发的AOMedia Video 1（AV1）在内的现代视频编解码器利用混合编码技术来去除时空冗余。然而，以均方误差（MSE）衡量的统计依赖性的有效利用并不总能产生最佳的视觉心理结果。一种有趣的方法是仅编码视觉相关信息，并对帧中“感知不显著”区域使用不同的编码方法，这能在保持视觉质量的同时大幅降低数据速率。本文中，我们在编码输入序列之前引入一个纹理分析器，使用卷积神经网络识别帧中的“感知不显著”区域。我们设计开发了一种新方案，将纹理分析器集成到编解码器中，可大幅减少具有分层编码结构的编解码器的时间闪烁伪影。所提方法在AV1编解码器中通过引入称为纹理模式的新编码工具来实现，其中纹理模式是在编码器端处理的一种特殊帧间模式，若选择纹理模式，则对识别出的纹理区域不执行帧间预测。相反，整个区域的位移仅由一组运动参数建模。因此，仅将模型参数传输至解码器以重建纹理区域。帧中的非纹理区域按常规编码。我们表明，对于许多标准测试集，所提方法在令人满意的视觉质量下实现了显著的数据速率降低。
引用
@article{arxiv.1908.02875,
title = {Convolutional Neural Networks Based Texture Modeling For AV1},
author = {Di Chen and Chichen Fu and Zoe Liu and Fengqing Zhu},
journal= {arXiv preprint arXiv:1908.02875},
year = {2019}
}
备注
22 pages, 7 figures. arXiv admin note: substantial text overlap with arXiv:1804.09291