VQualA 2025 挑战：大型多模态模型视觉质量比较方法与结果
计算机视觉与模式识别
2025-09-12 v1
摘要
本文概述了 VQualA 2025 挑战关于大型多模态模型（LMM）视觉质量比较的挑战，该挑战作为 ICCV 2025 视觉质量评估工作坊的一部分举办。该挑战旨在评估和提升最新 LMM 执行对单张图像、图像对和多图像组中视觉质量差异进行深度推理和细致判断的能力。为此，赛事引入了包含数千个粗粒度到细粒度视觉质量比较任务的新基准，涵盖单张图像、图像对和多图像组。每个任务都要求模型提供准确的质量判断。该挑战强调整体评估协议，包括基于 2 选项二分法（2AFC）的二分偏好和多选题（MCQs）。约 100 名参赛者提交了条目，其中五个模型展示了指令调优 LMM 在质量评估方面的新兴能力。这一挑战标志着开放域视觉质量推理与比较迈出了重要一步，也为未来研究可解释且人类对齐的质量评估系统提供了催化剂。
引用
@article{arxiv.2509.09190,
title = {VQualA 2025 Challenge on Visual Quality Comparison for Large Multimodal Models: Methods and Results},
author = {Hanwei Zhu and Haoning Wu and Zicheng Zhang and Lingyu Zhu and Yixuan Li and Peilin Chen and Shiqi Wang and Chris Wei Zhou and Linhan Cao and Wei Sun and Xiangyang Zhu and Weixia Zhang and Yucheng Zhu and Jing Liu and Dandan Zhu and Guangtao Zhai and Xiongkuo Min and Zhichao Zhang and Xinyue Li and Shubo Xu and Anh Dao and Yifan Li and Hongyuan Yu and Jiaojiao Yi and Yiding Tian and Yupeng Wu and Feiran Sun and Lijuan Liao and Song Jiang},
journal= {arXiv preprint arXiv:2509.09190},
year = {2025}
}
备注
ICCV VQualA Workshop 2025