Peek-a-Boo 推理：多模态大语言模型中的对比性区域遮蔽
机器学习
2025-12-19 v1 人工智能
摘要
我们提出对比性区域遮蔽（CRM），这是一种无需训练的诊断方法，揭示多模态大语言模型（MLLMs）在链路思维（CoT）推理每一步中对特定视觉区域依赖的程度。不同于仅关注最终答案或注意力图的先前方法，CRM 通过系统性遮蔽标注区域并与未遮蔽基线进行对比，提供因果、逐步级别的归因。应用于诸如 VisArgs 等数据集时，CRM 揭示了不同模型的distinct失效模式：一些模型保留推理结构但在证据缺失时产生幻觉，而另一些模型严格依赖视觉线索但在扰动下崩溃。通过将评估从答案正确性转向推理忠实性，CRM 重新定义了视觉基准作为诊断工具，凸显了需要衡量性能之外、推理鲁棒性与忠实性的多模态评估框架的需求。
引用
@article{arxiv.2512.08976,
title = {Peek-a-Boo Reasoning: Contrastive Region Masking in MLLMs},
author = {Isha Chaturvedi and Anjana Nair and Yushen Li and Adhitya Rajendra Kumar and Kevin Zhu and Sunishchal Dev and Ashwinee Panda and Vasu Sharma},
journal= {arXiv preprint arXiv:2512.08976},
year = {2025}
}