基于分层特征融合与迭代混合数据库训练的野外部署图像盲质量评估
多媒体
2023-04-28 v3
摘要
图像质量评估（IQA）对终端用户和服务提供商都非常重要，因为高质量图像能显著提升用户体验质量（QoE），并有益于众多计算机视觉算法。大多数现有的盲图像质量评估（BIQA）模型是针对合成失真图像开发的，然而它们在广泛存在于各类实际应用中的野外部署图像上表现不佳。本文中，我们通过解决该领域的两个关键问题，提出了一种针对野外部署图像的新型 BIQA 模型：如何学习更好的质量感知特征表示，以及如何解决训练样本在内容与失真多样性上不足的问题。考虑到感知视觉质量受低级视觉特征（如失真）和高级语义信息（如内容）共同影响，我们首先提出一种阶梯结构，将中间层的特征分层整合进最终特征表示，使模型能充分利用从低级到高级的视觉信息。随后提出一种迭代混合数据库训练（IMDT）策略，在多个数据库上同时训练 BIQA 模型，使模型受益于训练样本及图像内容与失真多样性的增加，并学习更具泛化的特征表示。实验结果表明，所提模型在六个野外部署 IQA 数据库上大幅优于其他最先进的 BIQA 模型。此外，该模型在跨数据库评估实验中表现出优异性能，进一步证明所学特征表示对具有多样失真和内容的图像具有鲁棒性。代码见 https://github.com/sunwei925/StairIQA。
引用
@article{arxiv.2105.14550,
title = {Blind Quality Assessment for in-the-Wild Images via Hierarchical Feature Fusion and Iterative Mixed Database Training},
author = {Wei Sun and Xiongkuo Min and Danyang Tu and Guangtao Zhai and Siwei Ma},
journal= {arXiv preprint arXiv:2105.14550},
year = {2023}
}
备注
Accepted by IEEE Journal of Selected Topics in Signal Processing