利用丰富的质量感知特征增强无参考视频质量评估
图像与视频处理
2026-01-06 v2 计算机视觉与模式识别
多媒体
摘要
由于视频内容与视觉失真的内在复杂性，无参考视频质量评估是一项极具挑战性的任务，尤其是在社交媒体视频大行其道的当下，这些视频来源广泛，且通常经过各种压缩和增强算法处理。尽管近期的 BVQA 和无参考图像质量评估研究取得了显著进展，但其模型通常仅在训练数据集上表现良好，而对未见视频的泛化能力较差，使其难以准确评估多样化社交媒体视频的感知质量。在本文中，我们提出了利用丰富质量感知特征的视频质量评估，这是一种通过利用从现成 BIQA 和 BVQA 模型中提取的丰富质量感知特征来增强 BVQA 的简单而有效的方法。我们的方法利用现有质量评估模型在其训练领域内的专业性来提升泛化能力。具体而言，我们设计了一个多源特征框架，该框架集成了：(1) 在目标 VQA 数据集上微调的基础模型中的可学习空间特征，以捕获特定领域的质量线索；(2) 在动作识别数据集上预训练的 SlowFast 快速通道中的时间运动特征，以建模与运动相关的失真；(3) 在多样化 IQA 数据集上训练的 BIQA 模型中的空间质量感知特征，以增强帧级失真表示；以及 (4) 在大规模 VQA 数据集上训练的 BVQA 模型中的时空质量感知特征，以联合编码空间结构和时间动态。这些特征被拼接并输入到多层感知机中，以回归出质量分数。实验结果表明，我们的模型在三个公开的社交媒体 VQA 数据集上达到了 SOTA 性能。
引用
@article{arxiv.2405.08745,
title = {Enhancing Blind Video Quality Assessment with Rich Quality-aware Features},
author = {Wei Sun and Linhan Cao and Jun Jia and Zhichao Zhang and Zicheng Zhang and Xiongkuo Min and Guangtao Zhai},
journal= {arXiv preprint arXiv:2405.08745},
year = {2026}
}
备注
RQ-VQA won first place in the CVPR NTIRE 2024 Short-form UGC Video Quality Assessment Challenge