面向用户生成内容的全盲视频质量评估的多视角对比学习
图像与视频处理
2024-06-25 v2
摘要
全盲视频质量评估（VQA）指的是一类不使用任何参考视频、人类主观评分或来自目标数据库的训练视频来学习质量模型的质量评估方法。这类方法的设计尤为重要，因为它能够在各种数据集上实现更优的性能泛化能力。我们研究面向用户生成内容的全盲VQA设计。尽管已有若干深度特征提取方法在监督和弱监督设定下被考虑，但此类方法尚未在全盲VQA背景下得到研究。我们通过提出一种自监督多视角对比学习框架来学习时空质量表征，从而弥补这一空白。具体而言，我们将帧差与帧视为一对视角以捕捉它们之间的共有信息，并类似地获取帧差与光流之间的共享表征。随后将所得特征与一组原始自然视频块语料进行比较，以预测失真视频的质量。在多个相机采集的VQA数据集上的详细实验表明，在不使用人类评分训练的情况下，我们的方法优于其他特征。
引用
@article{arxiv.2207.06148,
title = {Multiview Contrastive Learning for Completely Blind Video Quality Assessment of User Generated Content},
author = {Shankhanil Mitra and Rajiv Soundararajan},
journal= {arXiv preprint arXiv:2207.06148},
year = {2024}
}