探索视频感知表示在盲视频质量评估中的有效性
计算机视觉与模式识别
2022-07-11 v1 多媒体
图像与视频处理
摘要
随着非专业人士拍摄的野外视频快速增长，盲视频质量评估（VQA）已成为一个具有挑战性且迫切的问题。尽管已付出诸多努力解决该问题，人类视觉系统（HVS）如何与视频的时间质量相关联仍不清楚。同时，近期工作发现，自然视频帧变换到 HVS 的感知域后往往形成一条直的轨迹表示。基于失真损害感知视频质量并导致感知表示轨迹弯曲这一洞见，我们提出时间感知质量指数（TPQI）通过描述表示的图形形态来度量时间失真。具体而言，我们首先从 HVS 的外侧膝状体（LGN）和初级视觉区（V1）提取视频感知表示，然后度量其轨迹的直线度与紧凑度，以量化视频自然性与内容连续性的退化。实验表明，HVS 中的感知表示是预测主观时间质量的有效途径，因此 TPQI 首次能够取得与空间质量度量相当的性能，并在评估具有大时间变化的视频时更为有效。我们进一步证明，通过与空间质量度量 NIQE 结合，TPQI 可在流行的野外视频数据集上取得顶尖性能。更重要的是，TPQI 除被评估视频外不需要任何额外信息，因此可应用于任何数据集而无需参数调优。源代码见 https://github.com/UoLMM/TPQI-VQA。
引用
@article{arxiv.2207.03723,
title = {Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment},
author = {Liang Liao and Kangmin Xu and Haoning Wu and Chaofeng Chen and Wenxiu Sun and Qiong Yan and Weisi Lin},
journal= {arXiv preprint arXiv:2207.03723},
year = {2022}
}
备注
Will appear on ACM MM 2022