知识引导的半监督学习用于用户生成视频的质量评估
计算机视觉与模式识别
2023-12-27 v1 机器学习
摘要
用户生成内容 (UGC) 视频的感知质量评估具有挑战性，因为训练需要大规模的人工标注视频。在本工作中，我们首先设计了一个自监督的时空视觉质量表示学习 (ST-VQRL) 框架，为视频生成鲁棒的质量感知特征，从而应对这一挑战。然后，我们提出了一种基于双模型的半监督学习 (SSL) 方法，专门用于视频质量评估 (SSL-VQA) 任务，通过两个模型之间新颖的质量预测知识转移来实现。我们的 SSL-VQA 方法使用 ST-VQRL 骨干网络，尽管仅使用有限的人工标注视频进行学习，但在包括跨数据库设置在内的各种 VQA 数据集上均产生了鲁棒的性能。当仅使用有限数据训练时，我们的模型将最先进 (SOTA) 性能提高了约 10%，而在 SSL 中也使用未标注数据时提高了约 15%。源代码和检查点可在 https://github.com/Shankhanil006/SSL-VQA 获取。
引用
@article{arxiv.2312.15425,
title = {Knowledge Guided Semi-Supervised Learning for Quality Assessment of User Generated Videos},
author = {Shankhanil Mitra and Rajiv Soundararajan},
journal= {arXiv preprint arXiv:2312.15425},
year = {2023}
}
备注
Accepted to 38th AAAI conference on AI (AAAI 24)