基于深度学习的压缩 UGC 视频全参考与无参考质量评估模型
图像与视频处理
2021-06-03 v1 计算机视觉与模式识别
多媒体
摘要
本文提出一种基于深度学习的视频质量评估（VQA）框架，用于评估压缩用户生成内容（UGC）视频的质量。所提 VQA 框架由三个模块组成：特征提取模块、质量回归模块和质量池化模块。对于特征提取模块，我们将卷积神经网络（CNN）中间层的特征融合为最终的质量感知特征表示，使模型能充分利用从低层到高层的视觉信息。具体而言，从所有中间层提取的特征图的结构与纹理相似度被计算作为全参考（FR）VQA 模型的特征表示，而由中间特征图融合得到的最终特征图的全局均值和标准差被计算作为无参考（NR）VQA 模型的特征表示。对于质量回归模块，我们使用全连接（FC）层将质量感知特征回归为帧级分数。最后，采用受主观启发的时间池化策略将帧级分数池化为视频级分数。所提模型在压缩 UGC VQA 数据库上优于最先进的 FR 和 NR VQA 模型，并在野生 UGC VQA 数据库上也取得了相当好的性能。
引用
@article{arxiv.2106.01111,
title = {Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos},
author = {Wei Sun and Tao Wang and Xiongkuo Min and Fuwang Yi and Guangtao Zhai},
journal= {arXiv preprint arXiv:2106.01111},
year = {2021}
}