ATTIQA：利用属性感知预训练的通用图像质量特征提取器
计算机视觉与模式识别
2024-10-08 v2
摘要
在无参考图像质量评估（NR-IQA）中，数据集规模有限的挑战阻碍了鲁棒且通用模型的开发。传统方法通过利用大型数据集提取丰富的IQA表示来解决这一问题。此外，一些方法提出了基于视觉语言模型（VLM）的IQA，但通用VLM与IQA之间的领域差距限制了其可扩展性。在这项工作中，我们提出了一种新颖的预训练框架，通过从VLM中选择性地提取与质量相关的知识并利用大型数据集的可扩展性，为IQA构建通用表示。具体来说，我们为五个代表性的图像质量属性选择最优文本提示，并使用VLM生成伪标签。利用大型图像数据集可以生成大量属性感知的伪标签，使我们的IQA模型能够学习关于图像质量的丰富表示。我们的方法在多个IQA数据集上达到了最先进的性能，并展现出卓越的泛化能力。利用这些优势，我们提出了若干应用，例如评估图像生成模型和训练图像增强模型，展示了我们模型的实际应用价值。
引用
@article{arxiv.2406.01020,
title = {ATTIQA: Generalizable Image Quality Feature Extractor using Attribute-aware Pretraining},
author = {Daekyu Kwon and Dongyoung Kim and Sehwan Ki and Younghyun Jo and Hyong-Euk Lee and Seon Joo Kim},
journal= {arXiv preprint arXiv:2406.01020},
year = {2024}
}