一种基于深度学习的无参考 UGC 视频质量评估模型
计算机视觉与模式识别
2022-10-21 v2 多媒体
图像与视频处理
摘要
用户生成内容（UGC）视频的质量评估在保障终端用户观看体验方面起着重要作用。以往的 UGC 视频质量评估（VQA）研究要么使用图像识别模型，要么使用图像质量评估（IQA）模型来提取 UGC 视频的帧级特征以进行质量回归，由于这些任务与 UGC VQA 任务之间存在领域偏移，它们被视为次优方案。本文提出一种非常简单但有效的 UGC VQA 模型，试图通过训练端到端空间特征提取网络直接从视频帧的原始像素学习质量感知的空间特征表示来解决该问题。我们还提取运动特征以衡量空间特征无法建模的与时序相关的失真。所提模型利用极稀疏的帧提取空间特征，并利用极低空间分辨率的密集帧（即视频块）提取运动特征，从而具有较低的计算复杂度。凭借更好的质量感知特征，我们仅使用简单的多层感知机层（MLP）网络将其回归为块级质量分数，然后采用时间平均池化策略得到视频级质量分数。我们进一步引入多尺度质量融合策略来解决跨不同空间分辨率的 VQA 问题，其中多尺度权重由人类视觉系统的对比敏感度函数获得。实验结果表明，所提模型在五个流行的 UGC VQA 数据库上取得了最佳性能，证明了该模型的有效性。代码将公开可用。
引用
@article{arxiv.2204.14047,
title = {A Deep Learning based No-reference Quality Assessment Model for UGC Videos},
author = {Wei Sun and Xiongkuo Min and Wei Lu and Guangtao Zhai},
journal= {arXiv preprint arXiv:2204.14047},
year = {2022}
}
备注
Accepted by ACM MM 2022