IKIWISI：一种在无真值条件下评估视觉语言模型可靠性的交互式视觉模式生成器
计算机视觉与模式识别
2025-05-29 v1
摘要
我们提出了 IKIWISI（“I Know It When I See It”），一种交互式视觉模式生成器，用于在无真值条件下评估视频目标识别中的视觉语言模型。IKIWISI 将模型输出转换为二元热力图，其中绿色单元格表示目标存在，红色单元格表示目标不存在。这种可视化利用人类固有的模式识别能力来评估模型可靠性。IKIWISI 引入了“间谍目标”：即用户已知不存在的对抗性实例，以辨别模型对不存在物品产生的幻觉。该工具作为一种认知审计机制，通过可视化模型偏离人类理解的位置，揭示人类与机器感知之间的不匹配。我们对 15 名参与者进行的研究发现，用户认为 IKIWISI 易于使用，在可用时做出的评估与客观指标相关，并且仅通过检查一小部分热力图单元格就能得出明智的结论。这种方法不仅通过使用自定义目标集对模型行为进行视觉评估来补充传统评估方法，还揭示了在视觉语言系统中改善人类感知与机器理解之间对齐的机会。
引用
@article{arxiv.2505.22305,
title = {IKIWISI: An Interactive Visual Pattern Generator for Evaluating the Reliability of Vision-Language Models Without Ground Truth},
author = {Md Touhidul Islam and Imran Kabir and Md Alimoor Reza and Syed Masum Billah},
journal= {arXiv preprint arXiv:2505.22305},
year = {2025}
}
备注
Accepted at DIS'25 (Funchal, Portugal)