基础模型提升低层感知相似度指标
计算机视觉与模式识别
2025-01-14 v2
摘要
对于基于深度学习的方法进行全参考图像质量评估（FR-IQA），通常计算由预训练 CNN 或更近期使用的 Transformer 网络提取的特征之间的距离作为感知相似度得分。这些中间特征通常需要进一步微调或使用额外神经网络层来对齐最终相似度得分与人类判断。在大多数基于基础模型的 IQA 模型中，主要依赖最终层或嵌入用于质量得分估计。相反，本工作探索了利用这些基础模型中间特征的潜力，而这些特征在低层感知相似度指标的设计中至今鲜有被探索。我们证明，中间特征在比较方面更有效。此外，这些指标无需训练即可超越传统方法和最新学习型指标，利用特征之间的距离测量。
引用
@article{arxiv.2409.07650,
title = {Foundation Models Boost Low-Level Perceptual Similarity Metrics},
author = {Abhijay Ghildyal and Nabajeet Barman and Saman Zadtootaghaj},
journal= {arXiv preprint arXiv:2409.07650},
year = {2025}
}
备注
ICASSP 2025, Code: https://github.com/abhijay9/ZS-IQA