DeepQTMT:一种基于深度学习的快速QTMT帧内模式VVC编码单元划分方法
图像与视频处理
2021-06-08 v3 多媒体
摘要
通用视频编码(VVC)作为最新标准,相较其前代标准高效视频编码(HEVC)显著提升了编码效率,但代价是复杂度急剧增加。在VVC中,编码单元(CU)划分的四叉树加多类型树(QTMT)结构由于对递归率失真(RD)优化进行暴力搜索,占据了超过97%的编码时间。本文摒弃暴力QTMT搜索,提出一种深度学习方法以预测基于QTMT的CU划分,从而大幅加速帧内模式VVC的编码过程。首先,我们建立了一个包含充足CU划分模式与多样视频内容的大规模数据库,可促进数据驱动的VVC复杂度降低。接着,我们提出带有早退机制的多阶段退出CNN(MSE-CNN)模型,以在多个阶段依据灵活的QTMT结构确定CU划分。然后,我们为训练MSE-CNN模型设计了自适应损失函数,综合了不确定的分割模式数量与最小化RD成本的目标。最后,开发了多阈值决策方案,在复杂度与RD性能间取得理想权衡。实验结果表明,我们的方法可将VVC编码时间减少44.65%-66.88%,且Bjøntegaard delta码率(BD-BR)仅微不足道地增加1.322%-3.188%,显著优于其他最先进的方法。
引用
@article{arxiv.2006.13125,
title = {DeepQTMT: A Deep Learning Approach for Fast QTMT-based CU Partition of Intra-mode VVC},
author = {Tianyi Li and Mai Xu and Runzhi Tang and Ying Chen and Qunliang Xing},
journal= {arXiv preprint arXiv:2006.13125},
year = {2021}
}
备注
14 pages, 10 figures, 7 tables. Published in IEEE Transactions on Image Processing (TIP), 2021