ESIQA：基于 Vision Pro 的自我中心空间图像的感知质量评估
计算机视觉与模式识别
2025-02-24 v2 多媒体
摘要
随着扩展现实 (XR) 的发展，基于头戴式显示器 (HMD) 的照片捕捉和显示技术取得了显著进展并获得了广泛关注。自我中心空间图像和视频正作为一种引人注目的立体 XR 内容形式出现。对 XR 内容的体验质量 (QoE) 进行评估对于确保高质量的观看体验非常重要。与传统的 2D 图像不同，自我中心空间图像因其特殊的拍摄、处理方法以及立体特性而为感知质量评估带来了挑战。然而，针对自我中心空间图像的相应图像质量评估 (IQA) 研究仍然匮乏。在本文中，我们建立了自我中心空间图像质量评估数据库 (ESIQAD)，据我们所知，这是首个专门针对自我中心空间图像的 IQA 数据库。我们的 ESIQAD 包含 500 张自我中心空间图像以及在三种显示模式下的对应平均意见得分 (MOS)，包括 2D 显示、3D 窗口显示和 3D 沉浸式显示。基于我们的 ESIQAD，我们提出了一种新颖的基于 mamba2 的多阶段特征融合模型 ESIQAnet，用于预测自我中心空间图像在三种显示模式下的感知质量。具体而言，我们首先从多个视觉状态空间对偶 (VSSD) 模块中提取特征，然后应用交叉注意力融合双眼视图信息，并使用转置注意力进一步细化特征。最后将多阶段特征拼接并输入质量回归网络以预测质量分数。大量实验结果表明，ESIQAnet 在所有三种显示模式下均在 ESIQAD 上优于 22 种最先进的 IQA 模型。数据库和代码可在 https://github.com/IntMeGroup/ESIQA 获取。
引用
@article{arxiv.2407.21363,
title = {ESIQA: Perceptual Quality Assessment of Vision-Pro-based Egocentric Spatial Images},
author = {Xilei Zhu and Liu Yang and Huiyu Duan and Xiongkuo Min and Guangtao Zhai and Patrick Le Callet},
journal= {arXiv preprint arXiv:2407.21363},
year = {2025}
}
备注
9 pages, 12 figures