Re-IQA：面向真实场景图像质量评估的无监督学习
计算机视觉与模式识别
2023-05-30 v2 机器学习
多媒体
摘要
自动感知图像质量评估是一个具有挑战性的问题，每天影响着数十亿互联网和社交媒体用户。为推动该领域的研究，我们提出一种专家混合（Mixture of Experts）方法，在无监督设置下训练两个独立的编码器，分别学习高层内容特征和低层图像质量特征。我们方法的独特创新之处在于能够生成与代表图像内容的高层特征互补的低层图像质量表征。我们将用于训练这两个编码器的框架称为 Re-IQA。对于真实场景中的图像质量评估（Image Quality Assessment in the Wild），我们利用从 Re-IQA 框架获得的互补低层与高层图像表征来训练一个线性回归模型，用于将图像表征映射到真实质量分数，参见图 1。我们的方法在多个包含真实与合成失真的大规模图像质量评估数据库上取得了最先进的性能，展示了深度神经网络如何在无监督设置下训练以产生感知相关的表征。我们从实验中得出结论，所获得的低层与高层特征确实是互补的，并对线性回归器的性能产生了积极影响。本工作相关的所有代码将在 GitHub 上公开发布。
引用
@article{arxiv.2304.00451,
title = {Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild},
author = {Avinab Saha and Sandeep Mishra and Alan C. Bovik},
journal= {arXiv preprint arXiv:2304.00451},
year = {2023}
}
备注
Accepted to IEEE/CVF CVPR 2023. Code will be released post conference in July 2023. Avinab Saha & Sandeep Mishra contributed equally to this work