重新审视人眼视觉系统：一种全面的视频质量评估框架
图像与视频处理
2022-10-11 v1 计算机视觉与模式识别
摘要
视频质量是视频服务提供商的首要关切。近年来，基于深度卷积神经网络（CNNs）的视频质量评估（VQA）技术发展迅速。尽管已有工作尝试将人眼视觉系统（HVS）知识引入 VQA，仍存在限制其充分利用 HVS 的不足，包括以少量特性建立的不完备模型以及这些特性间联系不充分。为克服这些局限，本文以五种代表性特性重新审视 HVS，并进一步重组其联系。基于重新审视的 HVS，提出一种称为 HVS-5M（模拟具五特性 HVS 的五模块无参考 VQA 框架）的无参考 VQA 框架。其以域融合设计范式与先进网络结构工作。在空间域侧，视觉显著性模块应用 SAMNet 获取显著性图；随后，内容依赖与边缘掩蔽模块分别利用 ConvNeXt 提取空间特征，并由显著性图进行注意力加权以突出人类可能感兴趣的区域。在 temporal 域另一侧，为补充静态空间特征，运动感知模块利用 SlowFast 获取动态时间特征。此外，时间滞后模块应用 TempHyst 模拟人类记忆机制，并根据空间与时域融合特征综合评出质量分数。大量实验表明，我们的 HVS-5M 优于最先进 VQA 方法。进一步通过消融实验验证各模块对该框架的有效性。
引用
@article{arxiv.2210.04158,
title = {HVS Revisited: A Comprehensive Video Quality Assessment Framework},
author = {Ao-Xiang Zhang and Yuan-Gen Wang and Weixuan Tang and Leida Li and Sam Kwong},
journal= {arXiv preprint arXiv:2210.04158},
year = {2022}
}
备注
13 pages, 5 figures, Journal paper