理解视频预测的主观感知质量
图像与视频处理
2023-05-09 v5 计算机视觉与模式识别
摘要
视频预测模型的研究被认为是视频表示学习的基本途径。尽管存在大量给定过去若干帧预测未来帧像素值的生成模型，但预测帧的定量评估已被发现极具挑战性。在此背景下，我们研究预测视频的质量评估问题。我们创建了印度科学院预测视频质量评估（IISc PVQA）数据库，包含 300 个视频，通过对不同数据集应用不同预测模型获得，并附有主观意见分数。我们收集了 50 名人类参与者对这些视频质量的主观评分。我们的主观研究表明，人类观察者对预测视频质量的判断高度一致。我们对几种常用的视频预测评估指标进行基准测试，表明它们与这些主观分数相关性不足。我们引入两个新特征以有效捕捉预测视频质量：预测帧与过去帧的深度特征的运动补偿余弦相似度，以及从重缩放帧差中提取的深度特征。我们表明，我们的特征设计在与人类判断一致的 IISc PVQA 数据库上实现了最先进的质量预测。数据库与代码已在我们的项目网站公开：https://nagabhushansn95.github.io/publications/2020/pvqa
引用
@article{arxiv.2005.00356,
title = {Understanding the Perceived Quality of Video Predictions},
author = {Nagabhushan Somraj and Manoj Surya Kashi and S. P. Arun and Rajiv Soundararajan},
journal= {arXiv preprint arXiv:2005.00356},
year = {2023}
}
备注
Project website: https://nagabhushansn95.github.io/publications/2020/pvqa.html. Accepted in SPIC