基于生成式扫描路径表示 360$^\circ$ 图像感知质量评估
计算机视觉与模式识别
2023-09-08 v1 图像与视频处理
摘要
尽管在面向全向（即 360）图像质量评估（OIQA）的启发式模型设计上已投入大量努力，但由于缺乏对观看行为多样性的考量——其导致 360 图像感知质量各异，仍存在显著差距。两个关键方面凸显了这一疏忽：忽视显著影响用户注视模式的观看条件，以及过度依赖从 360 图像得到的单一视口序列进行质量推断。为解决这些问题，我们引入一种独特的生成式扫描路径表示（GSR）以有效推断 360 图像质量，其聚合了预定义观看条件下多假设用户的多样感知体验。更具体地，给定由观看起点与探索时间刻画的观看条件，可使用恰当的扫描路径生成器产生一组由动态视觉注视点构成的扫描路径。循此思路，我们利用扫描路径将 360 图像转换为独特的 GSR，其提供了源自扫描路径的注视聚焦内容的全局概览。如此，360 图像的质量推断被迅速转化为 GSR 的质量推断。我们随后通过学习 GSR 的质量图，提出一种高效的 OIQA 计算框架。综合实验结果表明，所提框架的预测在时空域与人类感知高度一致，尤其在多变观看条件下局部失真 360 图像的挑战性情境中。代码将发布于 https://github.com/xiangjieSui/GSR
引用
@article{arxiv.2309.03472,
title = {Perceptual Quality Assessment of 360$^\circ$ Images Based on Generative Scanpath Representation},
author = {Xiangjie Sui and Hanwei Zhu and Xuelin Liu and Yuming Fang and Shiqi Wang and Zhou Wang},
journal= {arXiv preprint arXiv:2309.03472},
year = {2023}
}
备注
12 pages, 5 figures