探索丰富的主观质量信息用于自然场景图像质量评估
计算机视觉与模式识别
2024-09-10 v1 多媒体
摘要
传统的自然场景图像质量评估（IQA）模型通常使用平均意见分（MOS）的质量标签进行训练，而忽略了质量评分中包含的丰富主观质量信息，例如意见分标准差（SOS）甚至意见分分布（DOS）。在本文中，我们提出了一种名为 RichIQA 的新型 IQA 方法，以探索超越 MOS 的丰富主观评分信息来预测自然场景图像质量。RichIQA 具有两个关键的新设计：（1）一个三阶段图像质量预测网络，利用了卷积视觉 Transformer（CvT）强大的特征表示能力，并模拟了人脑的短期和长期记忆机制；（2）一种多标签训练策略，其中 MOS、SOS 和 DOS 等丰富的主观质量信息被同时用于训练质量预测网络。在这两项新设计的支持下，RichIQA 能够以分布的形式预测图像质量，随后可从中获得平均图像质量。大量实验结果验证了该三阶段网络专为预测丰富的质量信息而定制，而多标签训练策略能够充分挖掘主观质量评分内的潜力，并增强网络的预测性能和泛化能力。RichIQA 在多个带有丰富主观评分标签的大规模自然场景 IQA 数据库上优于 SOTA 竞争对手。RichIQA 的代码将在 GitHub 上公开提供。
引用
@article{arxiv.2409.05540,
title = {Exploring Rich Subjective Quality Information for Image Quality Assessment in the Wild},
author = {Xiongkuo Min and Yixuan Gao and Yuqin Cao and Guangtao Zhai and Wenjun Zhang and Huifang Sun and Chang Wen Chen},
journal= {arXiv preprint arXiv:2409.05540},
year = {2024}
}