REVAL：大型视觉语言模型的可靠性与价值观综合评估
计算机视觉与模式识别
2025-03-24 v1
摘要
大型视觉语言模型（LVLM）的快速发展凸显了需要全面评估框架来跨多个维度评估这些模型的必要性。虽然现有基准测试侧重于特定方面，如感知能力、认知能力和对抗攻击安全性，但它们往往缺乏提供对 LVLM 优势与局限的全面理解所需的广度和深度。为填补这一空白，我们引入了 REVAL，一个旨在评估 LVLM 可靠性与价值观的综合基准。REVAL 包含超过 144K 的图像-文本视觉问答（VQA）样本，分为两个主要部分：可靠性，评估真实性（如感知准确性和幻觉倾向）和鲁棒性（如对抗攻击、排版攻击和图像损坏的恢复能力）；以及价值观，评估伦理问题（如偏见和道德理解）、安全性问题（如毒性和越狱漏洞）和隐私问题（如隐私意识和隐私泄露）。我们评估了 26 个模型，包括主流开源 LVLM 和 GPT-4o、Gemini-1.5-Pro 等知名闭源模型。我们的发现表明，尽管当前 LVLM 在感知任务和毒性规避方面表现出色，但它们在对抗场景、隐私保护和伦理推理方面存在显著脆弱性。这些洞察强调了未来改进的关键领域，为开发更安全、更可靠且伦理对齐的 LVLM 提供了指导。REVAL 为研究人员提供了系统评估和比较 LVLM 的稳健框架，推动该领域的进步。
引用
@article{arxiv.2503.16566,
title = {REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models},
author = {Jie Zhang and Zheng Yuan and Zhongqi Wang and Bei Yan and Sibo Wang and Xiangkui Cao and Zonghui Guo and Shiguang Shan and Xilin Chen},
journal= {arXiv preprint arXiv:2503.16566},
year = {2025}
}
备注
45 pages, 5 figures, 18 tables