学习可泛化的感知表征以实现数据高效的无参考图像质量评估
计算机视觉与模式识别
2023-12-11 v1
摘要
无参考(NR)图像质量评估(IQA)是提升多样化视觉应用中用户体验的重要工具。当前最先进的NR-IQA技术的一个主要缺点是其依赖大量人工标注来为目标IQA应用训练模型。为缓解这一需求，需要无监督地学习能捕获多种失真的可泛化质量表征。我们通过引入一种新颖的质量感知对比损失，实现了对失真类型不敏感的低级质量特征的学习。此外，我们利用视觉语言模型的可泛化性，通过相关文本提示微调其中一个模型以提取高级图像质量信息。将这两组特征结合起来，通过在目标数据集上使用极少样本训练一个简单的回归器来有效预测质量。此外，我们在完全盲评估的设置下，设计了来自两条路径的零样本质量预测。我们在包含各种失真的多样化数据集上的实验表明，这些特征具有可泛化性，并且在数据高效和零样本设置下表现出优越的性能。代码将发布在 https://github.com/suhas-srinath/GRepQ。
引用
@article{arxiv.2312.04838,
title = {Learning Generalizable Perceptual Representations for Data-Efficient No-Reference Image Quality Assessment},
author = {Suhas Srinath and Shankhanil Mitra and Shika Rao and Rajiv Soundararajan},
journal= {arXiv preprint arXiv:2312.04838},
year = {2023}
}
备注
Accepted to IEEE/CVF WACV 2024