自然场景视频的质量评价
多媒体
2019-10-08 v3 计算机视觉与模式识别
图像与视频处理
摘要
自然场景视频的质量评价是一个具有挑战性的问题，因为缺少参考视频且存在拍摄失真。对人类视觉系统的了解有助于建立客观评价自然场景视频质量的方法。在这项工作中，我们展示了人类视觉系统的两个显著效应，即内容依赖性和时间记忆效应，可用于此目的。我们提出了一种客观的无参考视频质量评价方法，将这两种效应集成到一个深度神经网络中。对于内容依赖性，我们从预训练的图像分类神经网络中提取特征，利用其固有的内容感知特性。对于时间记忆效应，长期依赖性，特别是时间滞后效应，通过门控循环单元和受主观启发的时间池化层集成到网络中。为验证我们方法的性能，分别在三个公开可用的自然场景视频质量评价数据库：KoNViD-1k、CVD2014 和 LIVE-Qualcomm 上进行了实验。实验结果表明，我们提出的方法大幅优于五种最先进的方法，具体而言，在 SROCC、KROCC、PLCC 和 RMSE 指标上，相较于第二好的方法 VBLIINDS，整体性能分别提升了 12.39%、15.71%、15.45% 和 18.09%。此外，消融研究验证了内容感知特征和时间记忆效应建模的关键作用。我们方法的 PyTorch 实现已发布于 https://github.com/lidq92/VSFA。
引用
@article{arxiv.1908.00375,
title = {Quality Assessment of In-the-Wild Videos},
author = {Dingquan Li and Tingting Jiang and Ming Jiang},
journal= {arXiv preprint arXiv:1908.00375},
year = {2019}
}
备注
9 pages, 7 figures, 4 tables. ACM Multimedia 2019 camera ready. -> Update alignment formatting of Table 1