TempGlitch: 评估视觉语言模型在游戏视频中的时序故障检测
计算机视觉与模式识别
2026-05-21 v1 人工智能
摘要
视觉语言模型（VLM）正越来越多地被用于视频游戏质量保证，尤其是游戏play故障检测。然而，大多数现有评估将故障视为静态视觉异常，要求模型从单帧中检测故障。我们认为，这种表述方式遗漏了一个关键区别：一些故障是空间上的，可以在单独的帧中直接看到，而另一些故障是时序上的，只有通过有序帧之间的变化才能显现。一项初步研究确认了这一差异，表明时序故障对 VLM 的检测难度显著高于空间故障。为实现对这一 underexplored（未充分探索）场景的系统评估，我们引入 TempGlitch，这是一个用于时序故障检测的受控游戏视频基准数据集。TempGlitch 涵盖五种时序故障类型，且每个类别的样本数量均衡，同时配有无故障视频，用于可靠的二元评估。我们评估了 12 个专有和开源 VLM 在多个帧采样设置下的表现。结果显示，当前 VLM 在 TempGlitch 上表现接近随机水平，常常要么过于保守，导致大多数故障被漏检，要么过于敏感，将干净的视频误判为故障。此外，更密集的帧采样和更大的模型规模并不能可靠地解决这些问题。TempGlitch 为时序推理、稳健的游戏理解以及使用 VLM 进行自动化故障检测提供了一个聚焦的测试环境。代码和数据已在项目网站提供。
引用
@article{arxiv.2605.21443,
title = {TempGlitch: Evaluating Vision-Language Models for Temporal Glitch Detection in Gameplay Videos},
author = {Yakun Yu and Ashley Wiens and Adrián Barahona-Ríos and Benedict Wilkins and Saman Zadtootaghaj and Nabajeet Barman and Cor-Paul Bezemer},
journal= {arXiv preprint arXiv:2605.21443},
year = {2026}
}