基于从像素、帧到视频渐进学习的360°视频盲视觉质量评估
计算机视觉与模式识别
2021-11-19 v1
摘要
360°视频的盲视觉质量评估（BVQA）在优化沉浸式多媒体系统中起着关键作用。在评估360°视频质量时，人类倾向于从每个球面帧基于视口的空域失真感知到相邻帧间的运动伪影，最终得到视频级质量分数，即一种渐进式质量评估范式。然而，现有的360°视频BVQA方法忽视了这一范式。本文考虑了人类对球面视频质量感知的渐进范式，从而提出了一种新颖的360°视频BVQA方法（称为ProVQA），通过从像素、帧到视频的渐进学习实现。对应于像素、帧和视频的渐进学习，我们的ProVQA方法中设计了三个子网络，即球面感知感知质量预测（SPAQ）、运动感知感知质量预测（MPAQ）和多帧时间非局部（MFTN）子网络。SPAQ子网络首先基于人类球面感知机制建模空域质量退化。然后，通过利用相邻帧间的运动线索，MPAQ子网络适当引入运动上下文信息用于360°视频质量评估。最后，MFTN子网络通过探索多帧间的长期质量关联，聚合多帧质量退化以产生最终质量分数。实验验证我们的方法在两个数据集上显著提升了360°视频的SOTA BVQA性能，其代码已公开于\url{https://github.com/yanglixiaoshen/ProVQA.}。
引用
@article{arxiv.2111.09503,
title = {Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video},
author = {Li Yang and Mai Xu and Shengxi Li and Yichen Guo and Zulin Wang},
journal= {arXiv preprint arXiv:2111.09503},
year = {2021}
}
备注
Under review