使用对比学习进行图像质量评价
计算机视觉与模式识别
2022-06-30 v1 多媒体
图像与视频处理
摘要
我们考虑以自监督方式获取图像质量表示的问题。我们使用失真类型与程度的预测作为辅助任务，从包含合成与真实失真混合的未标记图像数据集中学习特征。然后，我们使用对比成对目标训练一个深度卷积神经网络（CNN）来解决该辅助问题。我们将所提出的训练框架及由此得到的深度 IQA（图像质量评价）模型称为 CONTRastive Image QUality Evaluator（CONTRIQUE）。在评估期间，CNN 权重被冻结，一个线性回归器在无参考（NR）设定下将学习到的表示映射到质量分数。我们通过大量实验表明，即使不对 CNN 主干进行任何额外微调，CONTRIQUE 与最先进的 NR 图像质量模型相比也取得了有竞争力的性能。学习到的表示具有高度鲁棒性，并能很好地泛化到受合成或真实失真影响的图像。我们的结果表明，无需大型标记主观图像质量数据集即可获得具有感知相关性的强大质量表示。本文使用的实现可在 \url{https://github.com/pavancm/CONTRIQUE} 获取。
引用
@article{arxiv.2110.13266,
title = {Image Quality Assessment using Contrastive Learning},
author = {Pavan C. Madhusudana and Neil Birkbeck and Yilin Wang and Balu Adsumilli and Alan C. Bovik},
journal= {arXiv preprint arXiv:2110.13266},
year = {2022}
}