面向AI生成全景图像的质量评估与失真感知显著性预测
计算机视觉与模式识别
2025-06-30 v1
摘要
随着人工智能生成内容（AIGC）技术的快速发展，AI生成图像（AIGI）受到广泛关注，其中AI生成全景图像（AIGODI）在虚拟现实（VR）和增强现实（AR）应用中具有重要潜力。AI生成的全景图像表现出独特的质量问题，但针对AI生成全景图像的质量评估与优化研究仍不足。为此，本文首先研究了AIGODI的质量评估与失真感知显著性预测问题，并进一步提出了相应的优化流程。具体而言，本文首先构建了反映人类反馈的全景数据库，称为OHF2024，包括从三个角度获得的主观质量评分以及失真感知显著区域。基于构建的OHF2024数据库，本文提出两个基于BLIP-2模型的共享编码器模型，用于评估人类视觉体验并预测AI生成全景图像的失真感知显著性，分别称为BLIP2OIQA和BLIP2OISal。最后，基于所提出的模型，本文提出了一个自动优化流程，利用预测的视觉体验分数和失真区域进一步提升AI生成全景图像的视觉质量。广泛的实验表明，我们的BLIP2OIQA模型和BLIP2OISal模型在AI生成全景图像的人类视觉体验评估任务和失真感知显著性预测任务上取得了最新结果，并且可有效用于优化流程。该数据库和代码将发布在https://github.com/IntMeGroup/AIGCOIQA上，以促进未来研究。
引用
@article{arxiv.2506.21925,
title = {Quality Assessment and Distortion-aware Saliency Prediction for AI-Generated Omnidirectional Images},
author = {Liu Yang and Huiyu Duan and Jiarui Wang and Jing Liu and Menghan Hu and Xiongkuo Min and Guangtao Zhai and Patrick Le Callet},
journal= {arXiv preprint arXiv:2506.21925},
year = {2025}
}