ST360IQ：基于球面视觉Transformer的无参考全景图像质量评价
计算机视觉与模式识别
2023-03-14 v1 图像与视频处理
摘要
全景图像（又称360图像）能够提供沉浸式、可交互的视觉体验。近年来其 popularity 急剧上升，评估360图像的质量已成为一个备受关注的问题，因为它为捕获、传输和消费这一新媒体提供了洞察。然而，直接将为标准自然图像提出的质量评价方法用于全景数据会带来若干挑战。这些模型需要处理极高分辨率的数据以及因图像球面形态导致的隐式失真。本研究提出一种无参考360图像质量评价方法。我们提出的ST360IQ模型从输入全景图像的显著区域提取切向视口，并采用基于视觉Transformer的模块处理显著性选择性图块/令牌，从每个视口估计质量分数，随后聚合这些分数得到最终质量分数。我们在OIQA和CVIQ两个基准数据集上的实验表明，与最先进方法相比，我们的方法所预测的全景图像质量与人类感知图像质量更为相关。代码已发布于 https://github.com/Nafiseh-Tofighi/ST360IQ
引用
@article{arxiv.2303.06907,
title = {ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers},
author = {Nafiseh Jabbari Tofighi and Mohamed Hedi Elfkir and Nevrez Imamoglu and Cagri Ozcinar and Erkut Erdem and Aykut Erdem},
journal= {arXiv preprint arXiv:2303.06907},
year = {2023}
}
备注
ICASSP 2023