价值导向的迭代细化与 DIQ-H 基准用于评估视觉语言模型的鲁棒性
计算机视觉与模式识别
2026-04-30 v2 人工智能
摘要
视觉语言模型（VLMs）是具身 AI 和安全关键应用（如机器人和自动驾驶系统）的关键组件。然而，现有基准主要关注静态或精选的视觉输入，忽略了对抗条件、价值错位以及连续部署中误差传播所面临的挑战。当前基准要么忽略现实扰动的影响，要么未能考虑在时间上不一致推理的累积效应。为此，我们引入了Degraded Image Quality Leading to Hallucinations（DIQ-H）基准，这是第一个在持续序列中评估VLMs在对抗视觉条件下的基准。DIQ-H 模拟现实压力情境，包括运动模糊、传感器噪声和压缩伪影，并衡量这些损坏如何导致随时间持续的错误和错位输出。该基准显式建模误差传播及其长期价值一致性。为了提高可扩展性并降低安全关键评估的成本，我们提出了Value-Guided Iterative Refinement（VIR）框架，自动生成高质量、符合伦理的基准注释。VGIR 利用轻量级VLMs检测和细化价值错位，准确率从72.2%提升到83.3%，实现15.3%的相对提升。DIQ-H 基准和 VGIR 框架为具身 AI 安全评估提供了稳健平台，揭示了误差恢复、伦理一致性和时间价值对齐方面的脆弱性。
引用
@article{arxiv.2512.03992,
title = {Value-Guided Iterative Refinement and the DIQ-H Benchmark for Evaluating VLM Robustness},
author = {Hanwen Wan and Zexin Lin and Yixuan Deng and Xiaoqiang Ji},
journal= {arXiv preprint arXiv:2512.03992},
year = {2026}
}