SAM-IQA：Segment Anything 能否提升图像质量评估？
计算机视觉与模式识别
2023-07-11 v1 图像与视频处理
摘要
图像质量评估（IQA）是一项具有挑战性的任务，需要在海量数据集上训练以实现准确预测。然而，由于 IQA 数据匮乏，基于深度学习的 IQA 方法通常依赖在海量数据集上预训练的网络（如 ImageNet 上训练的 ResNet 网络）作为特征提取器以增强泛化能力。本文中，我们利用近期提出的、在海量数据集上训练的分割模型 Segment Anything 的编码器进行高层语义特征提取。多数 IQA 方法局限于提取空域特征，而频域特征已被证明能更好地表征噪声与模糊。因此，我们通过对提取特征分别施加傅里叶卷积与标准卷积，同时利用空域与频域特征。我们进行了大量实验以证明所提各组件的有效性，结果表明，在四个代表性数据集上，我们的方法在定性与定量上均优于当前最优（SOTA）。实验证实了 Segment Anything 强大的特征提取能力，并凸显了在 IQA 任务中结合空域与频域特征的价值。代码：https://github.com/Hedlen/SAM-IQA
引用
@article{arxiv.2307.04455,
title = {SAM-IQA: Can Segment Anything Boost Image Quality Assessment?},
author = {Xinpeng Li and Ting Jiang and Haoqiang Fan and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2307.04455},
year = {2023}
}