通过生成一致成对伪排序的感知视频质量半监督学习
图像与视频处理
2022-12-01 v1
摘要
由于需要大量人工标注的质量分数,为相机采集视频设计基于学习的无参考(NR)视频质量评估(VQA)算法十分繁琐。本文提出一种半监督学习(SSL)框架,利用大量无标签及极少标签的真实失真视频。我们的主要贡献有两点。借助一致性正则化与伪标签的优势,我们的 SSL 模型在强-弱增强视频上采用学生-教师模型为无标签视频生成成对伪排序。我们将强-弱增强设计为质量不变的,以在 SSL 中有效利用无标签视频。生成的伪排序与有限的标签一起用于训练我们的 SSL 模型。我们在 NR VQA 的 SSL 中的主要聚焦于学习从视频特征表示到质量分数的映射。我们比较了多种特征提取方法,并表明我们的 SSL 框架能对这些特征带来性能提升。除已有特征外,我们提出了一种基于预测空间与时间熵差的空间与时间特征提取方法。我们表明,这些特征在有限数据训练时有助于实现鲁棒性能,为应用 SSL 提供了更好的基线。在三个流行 VQA 数据集上的大量实验表明,尽管人工标注视频数量可能有限,我们新颖的 SSL 方法与特征相结合仍能在与人类感知的相关性上取得令人印象深刻的性能。
引用
@article{arxiv.2211.17075,
title = {Semi-supervised Learning of Perceptual Video Quality by Generating Consistent Pairwise Pseudo-Ranks},
author = {Shankhanil Mitra and Saiyam Jogani and Rajiv Soundararajan},
journal= {arXiv preprint arXiv:2211.17075},
year = {2022}
}