中文

RAPIQUE:面向用户生成内容的快速准确视频质量预测

计算机视觉与模式识别 2021-11-16 v2 多媒体 图像与视频处理

摘要

用户生成内容(UGC)的盲或无参考视频质量评估已成为一个热门、具有挑战性且迄今未解决的问题。因此,适用于此类内容的准确且高效的视频质量预测器需求巨大,以实现对 UGC 视频更智能的分析与处理。先前研究表明,自然场景统计与深度学习特征均足以捕捉空间失真,而空间失真是 UGC 视频质量问题的显著方面。然而,这些模型在实际应用中要么无法要么低效地预测复杂多样的 UGC 视频质量。本文我们引入一种针对 UGC 内容的有效且高效的视频质量模型,称之为快速准确视频质量评估器(RAPIQUE),其性能可与最先进(SOTA)模型相媲美,但运行速度快几个数量级。RAPIQUE 结合并利用了质量感知场景统计特征与语义感知深度卷积特征的优势,使我们能够设计首个用于视频质量建模的通用且高效的空间与时间(时空)带通统计模型。我们在近期大规模 UGC 视频质量数据库上的实验结果表明,RAPIQUE 以显著降低的计算开销在所有数据集上均取得顶尖性能。我们希望本工作促进并启发针对潜在实时与低延迟应用的视频质量问题的实际建模的进一步努力。为促进公开使用,RAPIQUE 的实现已免费在线提供:\url{https://github.com/vztu/RAPIQUE}。

关键词

引用

@article{arxiv.2101.10955,
  title  = {RAPIQUE: Rapid and Accurate Video Quality Prediction of User Generated Content},
  author = {Zhengzhong Tu and Xiangxu Yu and Yilin Wang and Neil Birkbeck and Balu Adsumilli and Alan C. Bovik},
  journal= {arXiv preprint arXiv:2101.10955},
  year   = {2021}
}

备注

IEEE Open Journal of Signal Processing 2021