从美学、失真与显著性角度评估超高清图像质量
计算机视觉与模式识别
2024-09-04 v1 图像与视频处理
摘要
超高清（UHD）图像通常具有等于或高于4K的分辨率，这对高效的图像质量评估（IQA）算法构成了重大挑战，因为采用全分辨率图像作为输入会导致计算复杂度过高，而常用的预处理方法（如缩放或裁剪）可能会造成大量细节丢失。为解决此问题，我们设计了一个多分支深度神经网络（DNN），从三个角度评估UHD图像的质量：全局美学特征、局部技术失真和显著内容感知。具体而言，美学特征是从UHD图像下采样得到的低分辨率图像中提取的，这些低分辨率图像丢失了高频纹理信息，但仍保留了全局美学特征。技术失真通过一个由基于网格小块采样策略从UHD图像中裁剪出的小块组成的碎片图像来衡量。检测并裁剪UHD图像的显著内容，以从显著区域提取质量感知特征。我们采用Swin Transformer Tiny作为骨干网络，从这三个角度提取特征。提取的特征被拼接起来，并通过一个两层多层感知器（MLP）网络回归为质量分数。我们使用均方误差（MSE）损失来优化预测精度，并使用保真度损失来优化预测单调性。实验结果表明，所提出的模型在UHD-IQA数据集上取得了最佳性能，同时保持了最低的计算复杂度，证明了其有效性和高效性。此外，该模型在ECCV AIM 2024 UHD-IQA挑战赛中获得一等奖。代码可在 https://github.com/sunwei925/UIQA 获取。
引用
@article{arxiv.2409.00749,
title = {Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency},
author = {Wei Sun and Weixia Zhang and Yuqin Cao and Linhan Cao and Jun Jia and Zijian Chen and Zicheng Zhang and Xiongkuo Min and Guangtao Zhai},
journal= {arXiv preprint arXiv:2409.00749},
year = {2024}
}
备注
The proposed model won first prize in ECCV AIM 2024 Pushing the Boundaries of Blind Photo Quality Assessment Challenge