StableVQA:一种用于视频稳定性的深度无参考质量评估模型
计算机视觉与模式识别
2023-10-30 v3 图像与视频处理
摘要
视频抖动是用户生成内容(UGC)视频中一种令人不适的失真,通常由相机的不稳定握持引起。近年来,许多视频稳像算法被提出,然而尚无特定且准确的指标能够全面评估视频的稳定性。事实上,大多数现有的质量评估模型将视频质量作为一个整体进行评估,并未专门考虑视频稳定性的主观体验。因此,当存在严重抖动时,这些模型无法明确而精确地度量视频稳定性。此外,公开领域尚无包含具有相应主观评分的各种程度抖动视频的大规模视频数据库,这阻碍了面向稳定性的视频质量评估(VQA-S)的发展。为此,我们构建了一个名为 StableDB 的新数据库,包含 1,952 段多样化抖动的 UGC 视频,其中每段视频均由 34 名受试者就视频稳定程度给出了平均意见得分(MOS)。此外,我们精心设计了一种名为 StableVQA 的新型 VQA-S 模型,其由三个特征提取器分别获取光流、语义与模糊特征,以及一个回归层来预测最终稳定性分数。大量实验表明,StableVQA 与主观意见的相关性高于现有的 VQA-S 模型与通用 VQA 模型。数据库与代码见 https://github.com/QMME/StableVQA。
引用
@article{arxiv.2308.04904,
title = {StableVQA: A Deep No-Reference Quality Assessment Model for Video Stability},
author = {Tengchuan Kou and Xiaohong Liu and Wei Sun and Jun Jia and Xiongkuo Min and Guangtao Zhai and Ning Liu},
journal= {arXiv preprint arXiv:2308.04904},
year = {2023}
}
备注
Accepted by ACM MM'23