CONVIQT：对比式视频质量估计器
图像与视频处理
2022-06-30 v1 计算机视觉与模式识别
多媒体
摘要
感知视频质量评估（VQA）是许多流媒体与视频分享平台不可或缺的组成部分。此处我们考虑以自监督方式学习具有感知相关性的视频质量表示的问题。我们将失真类型识别与退化程度判定作为辅助任务，用以训练一个包含提取空间特征的深度卷积神经网络（CNN）以及捕捉时间信息的循环单元的深度学习模型。该模型使用对比损失训练，因此我们称此训练框架及所得模型为 CONtrastive VIdeo Quality EstimaTor（CONVIQT）。测试期间，训练模型的权重被冻结，并由一个线性回归器在无参考（NR）设定下将所学特征映射到质量分数。我们在多个 VQA 数据库上通过对模型预测与真实质量评分间相关性的分析，对该模型进行了综合评估，并与最先进的 NR-VQA 模型相比取得了有竞争力的性能，尽管它并未在这些数据库上训练。我们的消融实验表明，所学表示具有高度鲁棒性，并能很好地泛化于合成与真实失真。我们的结果表明，利用自监督学习可获得具有感知意义的引人注目的表示。本工作中使用的实现已发布于 https://github.com/pavancm/CONVIQT。
引用
@article{arxiv.2206.14713,
title = {CONVIQT: Contrastive Video Quality Estimator},
author = {Pavan C. Madhusudana and Neil Birkbeck and Yilin Wang and Balu Adsumilli and Alan C. Bovik},
journal= {arXiv preprint arXiv:2206.14713},
year = {2022}
}