基于极简视频质量模型设计的视频质量数据集分析
计算机视觉与模式识别
2024-04-04 v2 多媒体
图像与视频处理
摘要
盲视频质量评估（BVQA）在各类真实世界视频媒体应用中，对监测和提升终端用户的观看体验起着不可或缺的作用。作为一个实验性领域，BVQA模型的改进主要是在少数几个人工评分的VQA数据集上进行衡量的。因此，为了正确评估BVQA的当前进展，深入理解现有VQA数据集至关重要。为此，我们通过设计极简BVQA模型，对VQA数据集开展了一种首创性的计算分析。所谓极简，是指将我们的BVQA模型族仅构建于基本模块之上：视频预处理器（用于激进的时空下采样）、空间质量分析器、可选的时间质量分析器以及质量回归器，且所有这些模块都采用尽可能最简单的实例化。通过在八个具有真实失真的VQA数据集上比较不同模型变体的质量预测性能，我们发现几乎所有数据集都不同程度地受到“简单数据集问题”的困扰，其中一些甚至可以用盲图像质量评估（BIQA）方案来解决。我们还通过对比这些VQA数据集上我们模型的泛化能力，以及对与基本构建模块相关的大量BVQA设计选择进行消融实验，进一步佐证了上述结论。我们的结果对BVQA的当前进展提出了质疑，同时也为构建下一代VQA数据集和模型提供了良好实践的启示。
引用
@article{arxiv.2307.13981,
title = {Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models},
author = {Wei Sun and Wen Wen and Xiongkuo Min and Long Lan and Guangtao Zhai and Kede Ma},
journal= {arXiv preprint arXiv:2307.13981},
year = {2024}
}