SEAGULL：基于视觉-语言指令微调的关注区域无参考图像质量评估
计算机视觉与模式识别
2024-11-18 v1
摘要
现有图像质量评估（IQA）方法在整体图像质量分析方面取得显著成功，但鲜有工作探索关注区域（ROI）的质量分析。ROI 质量分析可为图像质量改进提供细粒度指导，且对聚焦区域级质量的场景至关重要。本文提出一种新型网络 SEAGULL，它能在大型视觉-语言模型的指引下观察并评估 ROI 质量。SEAGULL 融合了视觉-语言模型（VLM）、由 Segment Anything Model（SAM）生成的掩码以指定 ROI，以及精心设计的基于掩码的特征提取器（MFE），用于提取指定 ROI 的全局和局部标记，从而实现对 ROI 的精准细粒度 IQA。此外，本文构建了两个基于 ROI 的 IQA 数据集 SEAGULL-100w 和 SEAGULL-3k，用于训练和评估基于 ROI 的 IQA。SEAGULL-100w 包含约 100 万合成失真图像及 3300 万个 ROI，用于预训练以提升模型的区域质量感知能力；SEAGULL-3k 包含约 3000 个真实失真 ROI，以增强模型对真实世界失真的感知能力。在 SEAGULL-100w 上预训练并在 SEAGULL-3k 上微调后，SEAGULL 在细粒度 ROI 质量评估上展现出卓越性能。代码和数据集公开可用于 https://github.com/chencn2020/Seagull。
关键词
引用
@article{arxiv.2411.10161,
title = {SEAGULL: No-reference Image Quality Assessment for Regions of Interest via Vision-Language Instruction Tuning},
author = {Zewen Chen and Juan Wang and Wen Wang and Sunhan Xu and Hang Xiong and Yun Zeng and Jian Guo and Shuxun Wang and Chunfeng Yuan and Bing Li and Weiming Hu},
journal= {arXiv preprint arXiv:2411.10161},
year = {2024}
}