使视频质量评估模型对帧率失真敏感
图像与视频处理
2022-05-24 v1 计算机视觉与模式识别
多媒体
摘要
我们考虑在视频质量评估（VQA）中捕捉由帧率变化引起的失真问题。可变帧率（VFR）视频已变得十分普遍，流媒体视频通常范围从每秒 30 帧（fps）到高达 120 fps。VFR-VQA 在失真类型以及对具有不同帧率的参考视频与失真视频进行非均匀比较方面带来了独特挑战。当前大多数 VQA 模型要求被比较视频具有相同帧率，但无法充分解释帧率伪影。近期提出的广义熵差（GREED）VQA 模型利用时间带通系数的熵差自然视频统计模型在此任务上取得成功，在预测由帧率失真引起的视频质量变化方面表现出优越性能。本文我们提出一种简单的融合框架，将 GREED 的时间特征与现有 VQA 模型相结合，以提升模型对帧率失真的敏感性。我们通过大量实验发现，该特征融合在 HFR/VFR 数据集以及固定帧率（FFR）VQA 数据库上均显著提升了模型性能。我们的结果表明，在可能出现帧率变化的情况下，采用高效的时间表征可得到更鲁棒且更准确的 VQA 模型。
引用
@article{arxiv.2205.10501,
title = {Making Video Quality Assessment Models Sensitive to Frame Rate Distortions},
author = {Pavan C. Madhusudana and Neil Birkbeck and Yilin Wang and Balu Adsumilli and Alan C. Bovik},
journal= {arXiv preprint arXiv:2205.10501},
year = {2022}
}